[发明专利]识别面部动作的方法和装置以及存储介质

说明书

公开了识别面部动作的方法和装置以及存储介质。该方法包括：由第一编码器针对第一面部图像提取第一特征；由第一分类器基于第一特征针对预定的多个运动单元生成第一预测结果，该第一预测结果指示该多个运动单元中的每一个是否存在于面部中；由第二分类器基于第一特征针对第一图像中除了运动单元之外的其它因素生成第二预测结果；通过以下方式训练第一编码器、第一分类器和第二分类器：第一编码器和第一分类器相互协作以增加第一预测结果的准确性，并且第一编码器和第二分类器相互对抗以降低第二预测结果的准确性；利用经训练的第一编码器和第一分类器，针对待识别的面部图像执行运动单元的识别。

技术领域

本发明总体上涉及面部动作的识别，更具体地，涉及以高准确度自动地识别人脸中的运动单元的方法和装置、以及存储介质。

背景技术

人脸在每个时刻都包含大量的关于精神和情感状态的信息，可以从人脸的微表情中识别出人的精神和情感状态，这在现实中往往是有用的且有益的。例如，在公司企业中，这有助于关注并改善员工的心理状态，以提高劳动生产率；在商务活动中，这有助于了解客户的满意度，以提高交易的成功率；在驾驶中，这有助于监督司机和乘客的精神和情感状态，以便及时对可能发生的危险进行预警，等等。

人脸的微表情主要由肌肉运动产生。作为当今面部表情的肌肉运动的权威参照标准，面部动作编码系统(Facial Action Coding System，FACS)被广泛地使用。FACS根据人脸的解剖学特点，将人脸划分成若干个既相互独立又相互联系的运动单元(Action Unit，AU)，这些运动单元的运动特征及其所控制的主要区域可以反映出人脸的表情。

随着计算机技术的发展，已经将深度学习技术应用于对人脸的运动单元的自动识别。然而，面部图像通常不仅包含运动单元的信息，还包含大量其它信息，例如人物身份、姿态、背景、光照条件等等。因此，如何准确地从面部图像中提取出与运动单元相关的信息是个问题。

此外，利用人工对面部图像的运动单元进行标注也是非常困难的。FACS中定义了超过40种运动单元，常用的是十多种。如果由人工进行标注，则需要对视频的每一帧进行标注，并且在每一帧中需要针对多种运动单元进行标注，因此工作量非常巨大。此外，为了确保标注的准确性，往往还需要另外的人力进行复查。

发明内容

针对上述技术问题，本发明提出了以高准确度自动地识别人脸中的运动单元的方法。此外，本发明还提出了自动地生成包含给定运动单元的面部图像的方法。

根据本发明的一个方面，提供了一种计算机实现的识别面部动作的方法，包括：由第一编码器针对第一面部图像提取第一特征；由第一分类器基于所述第一特征针对预定的多个运动单元生成第一预测结果，所述第一预测结果指示所述多个运动单元中的每一个是否存在于面部中；由第二分类器基于所述第一特征针对所述第一图像中除了所述多个运动单元之外的其它因素生成第二预测结果；通过以下方式训练所述第一编码器、所述第一分类器和所述第二分类器：所述第一编码器和所述第一分类器相互协作以增加所述第一预测结果的准确性，并且所述第一编码器和所述第二分类器相互对抗以降低所述第二预测结果的准确性；利用经训练的第一编码器和第一分类器，针对待识别的面部图像执行运动单元的识别。

根据本发明的另一个方面，提供了一种用于识别面部动作的装置，包括：存储有程序的存储器；以及一个或多个处理器，所述处理器通过执行所述程序而执行以下操作：使第一编码器针对第一面部图像提取第一特征；使第一分类器基于所述第一特征针对预定的多个运动单元生成第一预测结果，所述第一预测结果指示所述多个运动单元中的每一个是否存在于面部中；使第二分类器基于所述第一特征针对所述第一图像中除了所述多个运动单元之外的其它因素生成第二预测结果；通过以下方式训练所述第一编码器、所述第一分类器和所述第二分类器：所述第一编码器和所述第一分类器相互协作以增加所述第一预测结果的准确性，并且所述第一编码器和所述第二分类器相互对抗以降低所述第二预测结果的准确性；利用经训练的第一编码器和第一分类器，针对待识别的面部图像执行运动单元的识别。