[发明专利]基于特征分离表征学习的面部运动单元检测方法及系统

权利要求书

1.一种基于特征分离表征学习的面部运动单元检测方法，其特征在于，包括：

S1，从训练视频中选取三帧包含人脸的图像，并将各所述图像分别输入至特征分离编码器，得到与各所述图像对应的个人身份特征图、第一面部运动特征图和第一头部姿态运动特征图；

所述训练视频包括起始帧、中间帧、峰值帧和结束帧，所述S1中从训练视频中选取三帧包含人脸的图像包括：利用随机选择法，在A帧与所述起始帧之间选取第一帧图像，在所述第一帧图像与所述中间帧之间选取第二帧图像，在B帧与所述峰值帧之间选取第三帧图像，所述A帧为所述起始帧与所述中间帧中间的帧，所述B帧为所述中间帧与所述峰值帧中间的帧；

S2，对各所述第一面部运动特征图和各所述第一头部姿态运动特征图分别依次进行拼接和解码处理，并基于解码结果重构生成头部运动特征；

所述S2中的拼接和解码处理包括：对各所述第一面部运动特征图进行特征拼接生成面部肌肉运动嵌入层，将所述面部肌肉运动嵌入层输入面部运动解码器进行解码，得到第二面部运动特征图和面部运动置信度图；对各所述第一头部姿态运动特征图进行特征拼接生成头部姿态嵌入层，将所述头部姿态嵌入层输入头部姿态运动解码器进行解码，得到第二头部姿态运动特征图和头部姿态运动置信度图；

所述S2中根据解码结果重构生成头部运动特征包括：将所述第二面部运动特征图与所述面部运动置信度图做像素级别相乘，得到面部运动特征；将所述第二头部姿态运动特征图与所述头部姿态运动置信度图做像素级别相乘，得到头部姿态运动特征；将所述面部运动特征与所述头部姿态运动特征做像素级别相加，得到所述头部运动特征；

S3，以所述头部运动特征为采样器，对所述S1中选取的第一帧图像进行采样，得到目标图像：

其中，为所述目标图像，I_s1为所述S1中选取的第一帧图像，为面部运动置信度，为面部运动位移，为头部姿态运动置信度，为头部姿态运动位移；

S4，以所述目标图像与所述S1中选取的最后一帧图像相似度最高为目标，训练所述特征分离编码器；

利用训练后的特征分离编码器对目标图片进行特征分离，得到分离的个人身份特征、面部运动特征和头部姿态运动特征；将所述面部运动特征输入面部运动单元分类器，生成与所述面部运动特征相应的预测结果。

2.如权利要求1所述的基于特征分离表征学习的面部运动单元检测方法，其特征在于，所述S1中选取图像之后包括：将各所述图像分别剪裁为预设尺寸且包含所述人脸的人脸图像，将各所述人脸图像分别输入至所述特征分离编码器。

3.如权利要求1所述的基于特征分离表征学习的面部运动单元检测方法，其特征在于，所述S4中训练过程中的综合损失函数L为：

其中，σ1为第一损失权重系数，σ2为第二损失权重系数，σ3为第三损失权重系数，σ4为第四损失权重系数，σ5为第五损失权重系数，W和H分别为所述目标图像的宽和高，L_rec为模型L1范数损失，为面部运动特征相关的L1范数损失，L_emb为模型L2范数损失，L^id为个人身份特征相关的softmax交叉熵损失，L^au为面部运动特征相关的softmax交叉熵损失，为所述目标图像，I_t为所述S1中选取的第三帧图像，为面部运动位移，分别为输入所述特征分离编码器后得到的头部姿态运动特征、个人身份特征、面部运动特征，p_t、f_t、a_t分别为I_t输入所述特征分离编码器后得到的头部姿态运动特征、个人身份特征、面部运动特征，y为真实身份标签，为预测身份标签，N为样本数量，y_n为第n个样本的真实身份标签，为第n个样本的预测身份标签，y_n,l为第n个样本的第l个标签的真实运动单元标签，为第n个样本的第l个标签的预测运动单元标签。

4.一种基于特征分离表征学习的面部运动单元检测系统，其特征在于，包括：

选取及编码模块，用于从训练视频中选取三帧包含人脸的图像，并将各所述图像分别输入至特征分离编码器，得到与各所述图像对应的个人身份特征图、第一面部运动特征图和第一头部姿态运动特征图；

所述训练视频包括起始帧、中间帧、峰值帧和结束帧，所述选取及编码模块从训练视频中选取三帧包含人脸的图像包括：利用随机选择法，在A帧与所述起始帧之间选取第一帧图像，在所述第一帧图像与所述中间帧之间选取第二帧图像，在B帧与所述峰值帧之间选取第三帧图像，所述A帧为所述起始帧与所述中间帧中间的帧，所述B帧为所述中间帧与所述峰值帧中间的帧；

解码及重构模块，用于对各所述第一面部运动特征图和各所述第一头部姿态运动特征图分别依次进行拼接和解码处理，并基于解码结果重构生成头部运动特征；

所述解码及重构模块中的拼接和解码处理包括：对各所述第一面部运动特征图进行特征拼接生成面部肌肉运动嵌入层，将所述面部肌肉运动嵌入层输入面部运动解码器进行解码，得到第二面部运动特征图和面部运动置信度图；对各所述第一头部姿态运动特征图进行特征拼接生成头部姿态嵌入层，将所述头部姿态嵌入层输入头部姿态运动解码器进行解码，得到第二头部姿态运动特征图和头部姿态运动置信度图；

所述解码及重构模块中根据解码结果重构生成头部运动特征包括：将所述第二面部运动特征图与所述面部运动置信度图做像素级别相乘，得到面部运动特征；将所述第二头部姿态运动特征图与所述头部姿态运动置信度图做像素级别相乘，得到头部姿态运动特征；将所述面部运动特征与所述头部姿态运动特征做像素级别相加，得到所述头部运动特征；

采样模块，用于以所述头部运动特征为采样器，对所述选取及编码模块中选取的第一帧图像进行采样，得到目标图像：

其中，为所述目标图像，I_s1为所述选取及编码模块 中选取的第一帧图像，为面部运动置信度，为面部运动位移，为头部姿态运动置信度，为头部姿态运动位移；

训练模块，用于以所述目标图像与所述选取及编码模块中选取的最后一帧图像相似度最高为目标，训练所述特征分离编码器；

检测模块，用于利用训练后的特征分离编码器对目标图片进行特征分离，得到分离的个人身份特征、面部运动特征和头部姿态运动特征；将所述面部运动特征输入面部运动单元分类器，生成与所述面部运动特征相应的预测结果。