[发明专利]面部行为分析

权利要求书

1.一种计算机实现的训练神经网络进行面部行为分析的方法，其特征在于，所述方法包括：

向所述神经网络输入多个面部图像，其中，所述多个面部图像包括：

第一数据集中的一个或多个第一面部图像，其中，所述第一训练数据集包括分别具有已知情感标签的多个面部图像；

第二数据集中的一个或多个第二面部图像，其中，所述第二训练数据集包括分别具有已知动作单元激活的多个面部图像，

使用所述神经网络为所述多个面部图像分别生成预测情感标签和预测动作单元激活；

根据以下比较更新所述神经网络的参数：

所述一个或多个第一面部图像的预测情感标签与所述一个或多个第一面部图像的已知情感标签的比较；

所述一个或多个第二面部图像的预测动作单元激活与所述一个或多个第二面部图像的已知动作单元激活的比较。

2.根据权利要求1所述的方法，其特征在于，所述比较是通过多任务目标函数执行的，所述多任务目标函数包括：

将预测情感标签与已知情感标签进行比较的情感损失；

将预测动作单元激活与已知动作单元激活进行比较的激活损失。

3.根据权利要求2所述的方法，其特征在于，所述情感损失和/或激活损失包括交叉熵损失。

4.根据上述权利要求中任一项所述的方法，其特征在于，所述多个面部图像还包括第三数据集中的一个或多个第三面部图像，其中，所述第三训练数据集包括分别具有已知效价值和/或唤起度值的多个面部图像，所述方法还包括生成预测效价值和/或唤起度值，并且所述更新所述神经网络的参数还根据所述一个或多个第三面部图像的预测效价值和/或唤起度值与所述一个或多个第三面部图像的已知效价值和/或唤起度值的比较来进行。

5.根据权利要求4所述的方法，其特征在于，所述比较是通过多任务目标函数执行的，所述多任务目标函数包括将预测效价值和/或唤起度值与已知效价值和/或唤起度值进行比较的连续损失。

6.根据权利要求6中任一项所述的方法，其特征在于，所述连续损失包括所述预测效价值和/或唤起度值与所述已知效价值和/或唤起度值之间的一致性相关系数的度量。

7.根据上述权利要求中任一项所述的方法，其特征在于，

所述第一数据集中的所述多个面部图像分别与导出的动作单元激活相关联，所述导出的动作单元激活是根据所述面部图像的已知情感标签确定的；

所述神经网络的所述参数是根据所述一个或多个第一面部图像的所述预测动作单元激活与所述一个或多个第一面部图像的导出的动作单元激活的比较来更新的。

8.根据权利要求7所述的方法，其特征在于，

所述第二数据集中的一个或多个面部图像分别与导出的情感标签相关联，其中，每个导出的情感标签是根据所述面部图像的已知动作单元激活确定的；

所述神经网络的所述参数是根据所述一个或多个第二面部图像的所述预测情感标签与所述一个或多个第二面部图像的对应导出的情感标签的比较来更新的。

9.根据权利要求8所述的方法，其特征在于，所述导出的动作单元激活和所述导出的情感标签是根据每个情感标签的原型动作单元激活集和每个情感标签的加权动作单元激活集来确定的。

10.根据权利要求8或9所述的方法，其特征在于，所述导出的情感标签是可能的情感标签集的分布。

11.根据权利要求10所述的方法，其特征在于，

所述预测情感标签包括所述可能情感集之间的概率度量；

所述神经网络的所述参数是根据所述导出的情感标签与所述预测情感标签的比较来更新的。