[发明专利]一种基于AU共生关系约束的自然场景下面部表情识别方法

摘要

本发明公开了一种基于AU共生关系约束的自然场景下面部表情识别方法，属于数字图像处理及计算机视觉技术领域，该方法包括：人力啊图像序列的AU获取；AU识别网络的训练；基于AU的表情识别模型的训练。具体涉及基于AU共生关系约束的自然场景下面部表情识别方法。本发明通过利用解剖学研究成果，将人脸表情识别过程中对整张人脸图像的特征提取替换为对人脸图像的局部AU特征提取，极大的减少了特征提取的工作，并且减少了无关面部特征对表情识别的影响；利用AU间共生关系以及AU与表情之间的共生关系作为识别模型训练过程的约束项，相比以往单纯利用数据进行识别模型的训练更加合理化。

主权项

1.一种基于AU共生关系约束的自然场景下面部表情识别方法，其特征在于：在进行AU识别网络训练的过程中加入AU之间的共生关系约束；在进行表情识别模型的训练过程中加入AU与表情之间的共生关系约束；该方法包括以下步骤：步骤1，人脸图像序列的AU获取；步骤1.1，读取人脸图像序列，对序列中的每张图片进行人脸特征点定位；步骤1.2，根据定位到的人脸特征点，得到AU的位置；步骤1.3，依据AU位置信息从人脸图片中分割出AU；步骤2，AU识别网络的训练；步骤2.1，将步骤1得到的AU图片序列数据作为训练数据训练AU识别网络；步骤2.2，利用AU间共生关系调整AU识别损失；步骤3，基于AU的表情识别模型的训练；步骤3.1，将步骤2得到的AU识别结果用于表情识别模型的训练；步骤3.2，利用AU与表情间的共生关系调整表情识别的结果。