[发明专利]一种基于时序关系推理的动态表情识别方法

说明书

本发明公开了一种基于时序关系推理的动态表情识别方法，属于图像处理和机器视觉中的动态表情识别领域，所述方法包括：对表情图像序列进行多尺度时序稀疏采样，得到多个不同尺度的表情序列片段，并将所述表情序列片段进行数据增强后转换成固定大小；构建包括多尺度区域特征提取网络和时序关系推理模块的动态表情识别模型；将得到的表情序列片段输入动态识别模型中进行训练；将待识别的表情图像序列输入训练好的动态表情识别模型，得到动态表情识别结果。本发明的方法可以适应长时序输入，且能更好地提取脸部的局部区域特征，提高识别准确度；同时本发明方法在降低计算量的同时提高了模型性能。

技术领域

本发明属于图像处理和机器视觉中的动态表情识别领域，更具体地，涉及一种基于时序关系推理的动态表情识别方法。

背景技术

人脸表情识别作为计算机视觉领域中的一个重要研究课题，大多数的研究往往聚焦于以单帧表情图像作为研究对象的静态表情识别任务中。然而，人脸表情作为一个动态变化过程，单帧人脸表情图像无法完整地捕捉人的情感变化。与之相比，以表情视频或表情图像序列作为研究对象的动态表情识别，由于可以利用丰富地与表情变化相关的纹理信息和运动信息，可以较为完整地表达人的情绪变化过程。但由于存在表情数据集规模小且分布不平衡、数据标注偏差、姿态变化、光照变化、情感表达差异、以及表情与说话的冲突等问题，当前动态表情识别依然面临许多挑战问题。

实际的动态表情识别研究工作中主要有两个部分组成：表情序列特征提取和时序关系建模，近年来，动态表情识别的研究也取得了很好的成功。目前普遍使用3D卷积神经网络识别动态表情，这种方法简单直接，但也存在如下问题与不足之处：(1)在输入方面，普遍的做法是使用密集采样视频帧的方式，以16帧连续帧图像作为输入对图像序列提取特征，这在很大程度上限制了输入序列的长度，无法应用于长时序的表情序列，而且对于长时序的表情序列，相应的计算量会急剧增加，无法应用于实时场景中；(2)在表情图像特征提取方面，现有做法通常采用权重共享的卷积核对表情图像进行全局特征提取，没有考虑到不同脸部表情运动在脸部的不同区域具有不同的结构和纹理信息，虽然单尺度区域层为了利用局部信息，对不同的局部区域采用了不同的卷积核处理，但由于设计的局部区域大小均一致，无法适用于局部的多尺度区域特征学习，因此无法充分地利用脸部表情变化的局部信息，影响后续识别准确度；

总体来说，现有动态表情识别方法存在无法适应长时序输入，且由于不能充分利用脸部局部区域特征造成识别准确度低的问题。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种基于时序关系推理的动态表情识别方法，旨在解决现有动态表情识别方法存在不能适应长时序输入，且识别准确度低的问题。

为实现上述目的，本发明提供了一种基于时序关系推理的动态表情识别方法，包括：

(1)对表情图像序列进行多尺度时序稀疏采样，得到多个不同尺度的表情序列片段，并将所述表情序列片段进行数据增强后转换成固定大小；

(2)构建动态表情识别模型；

所述动态表情识别模型包括依次连接的多尺度区域特征提取网络和时序关系推理模块；

所述多尺度区域特征提取网络包括：依次连接的第一特征层、第二特征层、第三特征层、第四特征层，第五特征层和第六特征层；

所述第一特征层，包括依次连接的挤压激励特征提取模块和多尺度区域模块；所述挤压激励特征提取模块，用于对输入图像进行特征提取，得到特征图；所述多尺度区域模块，包括卷积层和三个不同尺度的区域层；所述卷积层，用于对所述挤压激励特征提取模块输出的特征图进行卷积操作；所述区域层，用于将所述卷积层输出的特征图分成固定大小的多个区域，对每个区域采用不同的卷积核进行卷积；

所述第二特征层，包括依次连接的挤压激励特征提取模块和多尺度区域模块，用于对第一特征层输出的特征图再次进行特征提取，得到包含信息更为丰富的特征图；