[发明专利]一种基于时序关系推理的动态表情识别方法

权利要求书

1.一种基于时序关系推理的动态表情识别方法，其特征在于，包括：

(1)对表情图像序列进行多尺度时序稀疏采样，得到多个不同尺度的表情序列片段，并将所述表情序列片段进行数据增强后转换成固定大小；所述多尺度时序稀疏采样具体过程为：先将表情图像序列均分为多个部分，再从每个部分中进行随机采样，进而获得不同时域尺度的特征；

(2)构建动态表情识别模型；

所述动态表情识别模型包括依次连接的多尺度区域特征提取网络和时序关系推理模块；

所述多尺度区域特征提取网络包括：依次连接的第一特征层、第二特征层、第三特征层、第四特征层，第五特征层和第六特征层；

所述第一特征层，包括依次连接的挤压激励特征提取模块和多尺度区域模块；所述挤压激励特征提取模块，用于对输入图像进行特征提取，得到特征图；所述多尺度区域模块，包括卷积层和三个不同尺度的区域层；所述多尺度区域模块中的卷积层与三个不同尺度的区域层组成残差结构；所述卷积层，用于对所述挤压激励特征提取模块输出的特征图进行卷积操作；所述区域层，用于将所述卷积层输出的特征图分成固定大小的多个区域，对每个区域采用不同的卷积核进行卷积；

所述第二特征层，包括依次连接的挤压激励特征提取模块和多尺度区域模块，用于对第一特征层输出的特征图再次进行特征提取，得到包含信息更为丰富的特征图；

所述第三特征层、第四特征层和第五特征层均由挤压激励特征提取模块组成，用于对当前层之前输出的特征图进行特征提取得到更为高层的特征；

所述第六特征层为均值池化层，用于对第五特征层输出的特征进行降维，得到表情图像的语义特征；

所述时序关系推理模块，用于对所述多尺度区域特征提取网络输出的表情图像的语义特征构建相邻表情图像帧之间的时序关系；

(3)将步骤(1)得到的表情序列片段输入所述动态表情 识别模型中进行训练，得到训练好的动态表情识别模型；

(4)将待识别的表情图像序列输入训练好的动态表情识别模型，得到动态表情识别结果。

2.根据权利要求1所述的一种基于时序关系推理的动态表情识别方法，其特征在于，步骤(1)中所述数据增强包括随机水平翻转和随机裁剪。

3.根据权利要求1或2所述的一种基于时序关系推理的动态表情识别方法，其特征在于，步骤(1)中将经过数据增强的表情序列片段转换成224*224像素的固定大小。

4.根据权利要求1所述的一种基于时序关系推理的动态表情识别方法，其特征在于，所述三个不同尺度的区域层依次将特征图分成8×8、4×4和2×2个区域块。

5.根据权利要求1所述的一种基于时序关系推理的动态表情识别方法，其特征在于，所述挤压激励特征提取模块包括深度可分离卷积子模块和挤压激励子模块；

其中，所述深度可分离卷积子模块，包括一个深度卷积层和一个卷积核大小为1*1的卷积层；所述挤压激励子模块包括全局均值池化层、第一全连接层、非线性激活层、第二全连接层、S型函数激活层和尺度归一化层。

6.根据权利要求1所述的一种基于时序关系推理的动态表情识别方法，其特征在于，所述时序关系推理模块包括第一层感知机、第二层感知机和第三层感知机；

所述第一层感知机的节点数为512，所述第二层感知机的节点数为256，所述第三层感知机的节点数为表情类别数。

7.根据权利要求1-6任一项所述的一种基于时序关系推理的动态表情识别方法，其特征在于，所述动态表情识别模型的损失函数为：

其中，C表示表情序列的总类别数，y_i表示真实标签类别，G表示时序关系推理模块的输出经过归一化之后得到的关于每个类别的后验概率输出。