[发明专利]识别面部动作的方法和装置以及存储介质

权利要求书

1.一种计算机实现的识别面部动作的方法，包括：

由第一编码器针对第一面部图像提取第一特征；

由第一分类器基于所述第一特征针对预定的多个运动单元生成第一预测结果，所述第一预测结果指示所述多个运动单元中的每一个是否存在于面部中；

由第二分类器基于所述第一特征针对所述第一图像中除了所述多个运动单元之外的其它因素生成第二预测结果；

通过以下方式训练所述第一编码器、所述第一分类器和所述第二分类器：所述第一编码器和所述第一分类器相互协作以增加所述第一预测结果的准确性，并且所述第一编码器和所述第二分类器相互对抗以降低所述第二预测结果的准确性；

利用经训练的第一编码器和第一分类器，针对待识别的面部图像执行运动单元的识别。

2.根据权利要求1所述的方法，还包括：

针对所述第一分类器建立第一损失函数；

针对所述第二分类器建立第二损失函数；

以使得所述第一损失函数最小化并且所述第二损失函数最大化的方式执行训练。

3.根据权利要求2所述的方法，其中，所述第一损失函数是基于所述第一预测结果和第一真值的交叉熵损失函数，所述第二损失函数是基于所述第二预测结果和第二真值的交叉熵损失函数。

4.根据权利要求1所述的方法，还包括：

由第二编码器针对第二面部图像提取第二特征；

由第三分类器基于所述第二特征针对所述多个运动单元生成第三预测结果，所述第三预测结果指示所述多个运动单元中的每一个是否存在于面部中；

由第四分类器基于所述第二特征针对所述第二图像中除了所述多个运动单元之外的其它因素生成第四预测结果；

通过以下方式训练所述第二编码器、所述第三分类器和所述第四分类器：所述第二编码器和所述第三分类器相互对抗以降低所述第三预测结果的准确性，并且所述第二编码器和所述第四分类器相互协作以增加所述第四预测结果的准确性。

5.根据权利要求1或4所述的方法，其中，所述第一预测结果和所述第三预测结果中的每一个还指示在所述面部中存在的运动单元的强度。

6.根据权利要求1或4所述的方法，其中，所述第一图像中的其它因素和所述第二图像中的其它因素包括以下中的一个或多个：所述面部所对应的人的身份、姿态、角度、照明以及背景。

7.根据权利要求4所述的方法，还包括：

由生成器基于给定的运动单元以及由所述第二编码器针对所述第二面部图像提取的第二特征来生成面部图像，其中所述给定的运动单元与所述第二面部图像中的运动单元不同；以及

将由所述生成器生成的面部图像作为所述第一面部图像输入至所述第一编码器。

8.根据权利要求7所述的方法，还包括：基于相似性损失函数来训练所述生成器，

其中，基于由所述生成器生成的面部图像与真值图像之间的距离来建立所述相似性损失函数。

9.一种用于识别面部动作的装置，包括：

存储有程序的存储器；以及

一个或多个处理器，所述处理器通过执行所述程序而执行以下操作：

使第一编码器针对第一面部图像提取第一特征；

使第一分类器基于所述第一特征针对预定的多个运动单元生成第一预测结果，所述第一预测结果指示所述多个运动单元中的每一个是否存在于面部中；

使第二分类器基于所述第一特征针对所述第一图像中除了所述多个运动单元之外的其它因素生成第二预测结果；

通过以下方式训练所述第一编码器、所述第一分类器和所述第二分类器：所述第一编码器和所述第一分类器相互协作以增加所述第一预测结果的准确性，并且所述第一编码器和所述第二分类器相互对抗以降低所述第二预测结果的准确性；

利用经训练的第一编码器和第一分类器，针对待识别的面部图像执行运动单元的识别。

10.一种存储有计算机程序的存储介质，所述计算机程序在被计算机执行时使得所述计算机执行根据权利要求1-8中任一项所述的识别面部动作的方法。