[发明专利]基于KNN和DSN的微表情识别方法、系统、设备及存储介质

说明书

本发明设计人工智能技术，提出一种基于KNN和DSN的微表情识别方法、系统、设备及存储介质，包括：对待识别微表情图像进行特征提取，获取微表情时空特征；将待识别微表情图像输入微表情识别模型的最近邻模块，获取待识别微表情图像中微表情样本点对应的相邻矩阵，并与微表情时空特征进行重构，获取重构特征；将重构特征输入微表情识别模型的深度堆叠网络模块，获取待识别微表情图像中微表情的所属类别。本发明通过提取微表情图像的时空特征，充分利用了微表情图像在时间和空间上变化大、包含信息丰富的特点，有利于后续微表情识别；通过微表情时空特征和微表情样本点的相邻矩阵进行特征重构，实现样本数据之间的关联特征，提高识别精度。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于KNN和DSN的微表情识别方法、系统、设备及存储介质。

背景技术

人脸表情作为人类情绪的直接反映，一直是计算机视觉领域中最重要的研究方向之一，在过去的数十年研究之中，学术界和工业界已经在表情识别领域取得十分巨大的成功。在表情识别中，自发式表情因其不可抑制和伪造，反映的是人类内心真实想法，在风控理赔、司法审讯和心里资料方面存在巨大的应用价值，逐渐成为今年来研究热点。

相对于一般的人脸表情，微表情具备多种特点，持续时间很短，脸部纹理变化波动小，一般只会出现在上脸和下脸，因此对于微表情的分类识别，是十分困难的。一般用于微表情的特征提取和分类算法有面部动作编码系统，通过预先定义的编码表征脸部动作单元，进行识别分类；基于微表情的时频域，基于三角化的时域编码模型，通过主管表现模型进行标注，进而进一步的识别。

这些传统的微表情方法，通常依赖于大量正定标本，并且加入主观因素，不能主动提取特征，会存在耗费大量人力、物力的情况，并且因为微表情复杂的特征，并不能取得很好的分类效果。近年来，得益于深度学习在模式识别、图像分类等领域取得的巨大突破，其也被应用于微表情的分类识别之中。基于微表情具备时序特征的特点，通过时序网络，例如长短期记忆网络(Long Short-Term Memory，简称LSTM)和时间卷积网络(TemporalConvolutional Network，简称TCN)提取其时序特征，进而进行分类识别。基于脸部纹理特征，采用动作单元放大以增强微表情的空间特征，集合卷积神经网络(ConvolutionalNeural Networks，简称CNN)进行分类识别。基于深度学习进行表情识别，可以自动提取多维特征，但是目前模型也只是利用单一方面的特征维度，并不能完全表征微表情丰富的特征，从而导致最终后续的微表情识别精度较低。

发明内容

本发明提供一种基于KNN和DSN的微表情识别方法、系统、设备及存储介质，其主要目的在于提取微表情图像中丰富的特征，有效提高微表情识别精度。

第一方面，本发明实施例提供一种基于KNN和DSN的微表情识别方法，包括：

对待识别微表情图像进行特征提取，获取微表情时空特征；

将所述待识别微表情图像输入微表情识别模型的最近邻模块，获取所述待识别微表情图像中微表情样本点对应的相邻矩阵，并与所述微表情时空特征进行重构，获取重构特征；

将所述重构特征输入所述微表情识别模型的深度堆叠网络模块，获取所述待识别微表情图像中微表情的所属类别，其中，所述微表情识别模型由样本和标签进行训练得到，所述微表情识别模型由所述最近邻模块和所述深度堆叠网络模块依次连接组成。

优选地，所述深度堆叠网络模块由若干层深度堆叠网络串联组成，其中，所述深度堆叠网络由输入层、隐含层和输出层依次连接组成，对于当前深度堆叠网络，所述当前深度堆叠网络的输入为所述重构特征与所述当前深度堆叠网络之前的所有深度堆叠网络的输出进行拼接后得到。

优选地，所述当前深度堆叠网络的输入为所述重构特征与所述当前深度堆叠网络之前的所有深度堆叠网络的输出进行拼接后得到，包括：