[发明专利]一种面向三维点云视频的多时域分辨率唇语行为检测方法

权利要求书

1.一种面向三维点云视频的多时域分辨率唇语行为检测方法，其特征在于，包括以下步骤：

步骤a、采用三维视频传感器面对说话者面部，采集其说话过程中的三维点云视频；

步骤b、对三维点云视频数据进行两步预处理，即三维视频去噪和全局姿态配准；

步骤c、设置检测参考帧及参考时刻，建立一个三维唇部运动参考球，以参考帧上三维唇部关键点的中心为球心，半径固定；设置初始时域检测分辨率，以参考时刻为起点，利用三维非刚性配准结合一个三维可变形面部模型，提取并跟踪说话者在各时刻下的三维唇部关键点；计算各时刻的三维唇部关键点在参考球上的参考运动向量，以及三维唇部关键点与参考帧的帧间运动向量；

步骤d、以参考时刻为起点，沿着时间轴，顺序计算各时刻下三维唇部与参考帧的帧间运动散度，以表达三维唇部的帧间动态性特征；并判断各时刻下三维唇部的行为状态，将唇部出现动态性的时刻定义为该时域检测分辨率下的候选行为发生时刻，定义参考时刻和候选行为发生时刻之间为候选检测区域；所述步骤d具体包括：

根据各时刻t下唇部关键点的运动向量和参考运动向量沿时间轴顺序计算唇部在时刻t与参考时刻的帧间运动散度Div^t，参见公式(1)和(2)：

V_S＝∑△S (2)

其中Π(·)为向量归一化函数，ΔS为参考球的单位表面积，它们之和为参考球的总表面积V_S，该帧间运动散度表达了所有唇部关键点的运动向量在其参考运动方向上的运动能量之和，是一种三维唇部的帧间动态性特征；

通过帧间运动散度的幅值判断三维唇部在该时刻t处于发生运动还是静止状态；通过参考运动向量和关键点运动向量之间的夹角，判断唇部运动的张开和闭合运动状态，即两者大于90°，为闭合状态，反之张开；唇部在说话过程中的运动还需满足左右唇部的对称性约束，唇语行为状态LipEvent的判断如公式(3)所示：

其中sgn(·)为符号函数，opening表示唇部张开状态，closing表示唇部闭合状态，表示左半唇部的运动散度，表示右半唇部运动散度，ε_sym表示左右唇部的运动对称性阈值，将唇部出现动态性的时刻定义为该时域检测分辨率下的候选行为发生时刻，定义参考时刻和候选行为发生时刻之间为候选检测区域；

步骤e、由粗到精地逐步提高时域检测分辨率，在各分辨率下，更新唇语行为检测的参考时刻为候选检测区域的起始时刻，重复步骤d不断地缩小候选检测区域，直到时域检测分辨率为原始视频的时域分辨率，则唇语行为检测完成并输出唇部开始活动或停止活动的时刻值；所述步骤e具体包括：

设置初始时域检测分辨率为三维视频原始分辨率s₀的1/k倍，以参考时刻为起点，执行步骤c提取并跟踪唇部关键点和步骤d计算帧间运动散度，根据唇部的帧间运动散度确定唇语行为发生时刻的候选检测区域；更新参考时刻为候选检测区域的初始帧，提高时域检测分辨率s₀/k，即减小k值，重复步骤c和步骤d，直至将唇语行为的发生时刻精细到单帧级别。

2.根据权利要求1所述的一种面向三维点云视频的多时域分辨率唇语行为检测方法，其特征在于：所述步骤b，具体实现过程如下：

首先，在四维时空域进行多帧融合对三维点云视频进行整体去噪，对于时刻t的三维帧，在时间域上融合该时刻前x和后x帧的局部对应三维点；该过程不降低三维点云视频的原始帧频；

选择三维点云视频的第一帧作为参考帧f_r，将后续时刻的三维点云帧f_t和参考帧f_r进行全局刚性配准；配准过程利用分布于眼部和鼻部的三维关键点进行，获取两时刻的三维点云{f_t,f_r}之间的旋转和平移矩阵[R_3×3,t_3×1]，将各时刻三维点云f_t转换至参考帧坐标系下f_t′＝f_t(R,t)。