[发明专利]基于视频的微表情识别方法、装置、设备及存储介质

说明书

本发明涉及微表情识别技术领域，本发明公开了一种基于视频的微表情识别方法、装置、设备及存储介质，所述方法包括：通过实时获取待识别视频；通过对待识别视频进行人脸时序提取，得到时序片段；通过三维卷积神经网络对时序片段进行图像时序特征提取，得到特征向量矩阵组；获取通过图神经网络模型训练完成的区域关联矩阵组，并将区域关联矩阵组和特征向量矩阵组融合，得到待分类向量；对待分类向量进行微表情识别，得到与待识别视频对应的微表情结果。因此，本发明实现了通过三维卷积神经网络从空间维度和时间维度，以及通过体现人脸中重点区域之间的关联关系的区域关联矩阵组，自动识别出人物的微表情类别，提高了微表情识别的准确率和质量。

技术领域

本发明涉及微表情识别技术领域，尤其涉及一种基于视频的微表情识别方法、装置、设备及存储介质。

背景技术

微表情是短而不自觉的面部表情，它的开始和结束不受主观控制，短暂的微表情能够在不知不觉中反映出人内心的心理状态，如若能够在客服行业应用中提取到每个人的微表情，通过微表情的识别可以获取到客户的满意度的转变，能快速识别客户的满意度转变，这能够帮助企业改善服务质量，提高客户满意度，可见，微表情识别是目前较为活跃且前瞻的领域，也是结合心理学与机器视觉技术的交叉领域，在现有技术中，微表情的识别大致可以分为两类，一类是基于面部局部区域变化的传统方法识别，主要利用的是面部图像中的局部区域比如嘴唇等的变化来做一个分类，该类方案在大数据集下往往表现不好，是由于人群的习惯差异较大，导致难以兼顾到大量的人群；另一类是基于深度学习人工智能的图像识别技术，该类方案往往是对整张图像的识别，但是该方案的对象是静态的图像，只能提取静态的特征进行识别，因此，以上两类方案都存在微表情识别的准确率不高的情况，容易出现误判的不足，这将导致误解客户的心情，容易流失客户。

发明内容

本发明提供一种基于视频的微表情识别方法、装置、计算机设备及存储介质，实现了通过三维卷积神经网络从空间维度和时间维度，以及通过体现人脸中重点区域之间的关联关系的区域关联矩阵组，自动识别出待识别视频中的人物的微表情类别，提高了微表情识别的准确率和质量。

一种基于视频的微表情识别方法，包括：

实时获取待识别视频；

通过对所述待识别视频进行人脸时序提取，得到时序片段；

通过三维卷积神经网络对所述时序片段进行图像时序特征提取，得到特征向量矩阵组；

获取通过图神经网络模型训练完成的区域关联矩阵组，并将所述区域关联矩阵组和所述特征向量矩阵组融合，得到待分类向量；

对所述待分类向量进行微表情识别，得到与所述待识别视频对应的微表情结果。

一种基于视频的微表情识别装置，包括：

获取模块，用于实时获取待识别视频；

第一提取模块，用于通过对所述待识别视频进行人脸时序提取，得到时序片段；

第二提取模块，用于通过三维卷积神经网络对所述时序片段进行图像时序特征提取，得到特征向量矩阵组；

融合模块，用于获取通过图神经网络模型训练完成的区域关联矩阵组，并将所述区域关联矩阵组和所述特征向量矩阵组融合，得到待分类向量；

识别模块，用于对所述待分类向量进行微表情识别，得到与所述待识别视频对应的微表情结果。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于视频的微表情识别方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于视频的微表情识别方法的步骤。