[发明专利]文本描述辅助的姿势感知的人脸表情识别方法

说明书

本发明公开了一种表情描述文本辅助的姿势感知的人脸表情识别方法，包括：1、根据表情发生时的面部单元动作和对原始人脸图像的预处理，构建出多模态数据集合；2、构建姿势分类器，从人脸图像中提取姿势特征，并选取各种姿势的聚类中心作为对应的姿势特征；3、构建表情描述文本特征提取器，从文本中提取表情文本特征；4、融合人脸视觉特征，姿势特征和表情文本特征，以跨模态的方式为视觉特征生成对应姿势和表情的注意力图，并通过同时区分注意力图加权后的视觉特征的姿势和表情类别，从而得到最优表情表征网络。本发明能有效利用先验姿势特征和表情描述文本丰富的语义信息，从而能实现任意姿势下的表情的精准识别。

技术领域

本发明涉及情感计算领域，具体的是一种文本描述辅助的姿势感知的人脸表情识别方法。

背景技术

表情识别作为情感计算的一个分支，正在从实验室环境转向更加灵活多变的室外场景，其中，头部姿势的变化是影响识别性能的重要因素之一。现有的多角度表情识别分为两类：基于生成的方法和基于姿势鲁棒的方法，姿势鲁棒的方法又可以细分为基于正则化方法、基于对抗的方法、基于解缠的方法和基于子空间的方法。重构技术通常被用于基于解缠的方法，基于子空间的方法通常提取原始图像的手工特征，或者对特征空间加以约束，其他方法则主要用到各种生成对抗方法的变体。一些表情识别的方法也引入注意力机制。

然而无论是基于生成的方法还是基于姿势鲁棒的方法，以及基于注意力的方法，它们都存在一些根本上难以克服的问题。基于生成的方法通过生成大量各个角度下的各种表情图像来丰富数据集，从而使模型得到充分训练，然而生成的图像质量较差；基于姿势鲁棒的方法试图消除或者分离出姿势信息，从而得到只包含表情信息的特征，但姿势和表情以一种复杂的非线性方式耦合在一起；基于注意力机制的方法一方面没有考虑姿势变化的影响，另一方面很难保证从原始图像自动学习的注意力图的有效性。

发明内容

本发明是为了解决上述现有技术存在的不足之处，提出一种文本描述辅助的姿势感知的人脸表情识别方法，以期能通过引入先验姿势特征和表情描述文本并利用跨模态的注意力机制实现任意姿势下表情的精准识别，从而提高表情识别的准确性和鲁棒性。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种文本描述辅助的姿势感知的人脸表情识别方法的特点在于，是按如下步骤进行：

步骤1、构建多模态数据集合A；

步骤1.1、构建多模态数据的表情描述文本集合，记为其中，s_k表示第k条文本，m为文本的总条数；所述第k条文本s_k包含的单词，记为其中，t_k，l表示所述第k条文本s_k中的第l个单词，N_k表示第k条文本信息的单词长度；

步骤1.2、构建多模态数据的表情图像数据集合：

获取真实人脸图像数据集并使用图像旋转、裁剪以及归一化的方法进行预处理，从而得到表情图像数据集其中，x_i，y_i，v_i分别表示第i个人脸图像及对应的表情类别和姿势类别，y_i∈{1，2，…，m′}，v_i∈{1，2，…，n}，N是表情图像数据集D中图像的数量，m′是表情的总类别数，n是姿势的总类别数，且m′＝m；

步骤2、构建姿势分类器，包含：姿势特征提取器E_p，分类器C_p和特征对齐器AL：

步骤2.1、构建所述姿势特征提取器E_p为ResNet50结构：

所述ResNet50结构由一个卷积层，一个批归一化层，一个ReLU激活函数层，一个最大池化层，四个深度残差块和一个平均池化层组成；

步骤2.2、提取姿势特征：