[发明专利]一种基于时序关系推理的动态表情识别方法

摘要

本发明公开了一种基于时序关系推理的动态表情识别方法，属于图像处理和机器视觉中的动态表情识别领域，所述方法包括：对表情图像序列进行多尺度时序稀疏采样，得到多个不同尺度的表情序列片段，并将所述表情序列片段进行数据增强后转换成固定大小；构建包括多尺度区域特征提取网络和时序关系推理模块的动态表情识别模型；将得到的表情序列片段输入动态识别模型中进行训练；将待识别的表情图像序列输入训练好的动态表情识别模型，得到动态表情识别结果。本发明的方法可以适应长时序输入，且能更好地提取脸部的局部区域特征，提高识别准确度；同时本发明方法在降低计算量的同时提高了模型性能。

主权项

1.一种基于时序关系推理的动态表情识别方法，其特征在于，包括：(1)对表情图像序列进行多尺度时序稀疏采样，得到多个不同尺度的表情序列片段，并将所述表情序列片段进行数据增强后转换成固定大小；(2)构建动态表情识别模型；所述动态表情识别模型包括依次连接的多尺度区域特征提取网络和时序关系推理模块；所述多尺度区域特征提取网络包括：依次连接的第一特征层、第二特征层、第三特征层、第四特征层，第五特征层和第六特征层；所述第一特征层，包括依次连接的挤压激励特征提取模块和多尺度区域模块；所述挤压激励特征提取模块，用于对输入图像进行特征提取，得到特征图；所述多尺度区域模块，包括卷积层和三个不同尺度的区域层；所述卷积层，用于对所述挤压激励特征提取模块输出的特征图进行卷积操作；所述区域层，用于将所述卷积层输出的特征图分成固定大小的多个区域，对每个区域采用不同的卷积核进行卷积；所述第二特征层，包括依次连接的挤压激励特征提取模块和多尺度区域模块，用于对第一特征层输出的特征图再次进行特征提取，得到包含信息更为丰富的特征图；所述第三特征层、第四特征层和第五特征层均由挤压激励特征提取模块组成，用于对当前层之前输出的特征图进行特征提取得到更为高层的特征；所述第六特征层为均值池化层，用于对第五特征层输出的特征进行降维，得到表情图像的语义特征；所述时序关系推理模块，用于对所述多尺度区域特征提取网络输出的表情图像的语义特征构建相邻表情图像帧之间的时序关系；(3)将步骤(1)得到的表情序列片段输入所述动态识别模型中进行训练，得到训练好的动态表情识别模型；(4)将待识别的表情图像序列输入训练好的动态表情识别模型，得到动态表情识别结果。