[发明专利]一种基于视觉自注意力网络的表情识别方法

说明书

一种基于视觉自注意力网络的表情识别方法属于图像识别领域，使机器能够做到类似于人类那样综合考虑表情的局部信息。本发明主要过程为：S1：数据准备，将训练数据集输入到局部图像生成模块得到局部图像；S2：把局部图像输入至设计的视觉自注意力网络进行训练，得到训练好的模型；S3：将待识别的图像经过预处理送入到训练好的视觉自注意力网络中进行识别，得到结果。本发明采用视觉自注意力网络能够关注到局部图像之间的相互影响，并能够融合不同局部图像的鲁棒性特征以综合考虑到局部图像的信息，使图像最终表达的特征更加鲁棒，经过实验验证本发明所设计的网络在多个数据集上都超越了当前最先进方法的识别准确率，验证了本发明的有效性。

技术领域

本发明涉及图像识别领域，尤其是涉及了一种基于深度学习和自注意力机制的表情识别方法。

背景技术

当今，机器始终无法精准理解和体会人类的情感，可以说现在的机器还处于“弱”人工智能阶段。如果机器能够精准的理解人类的情感进而做到人机交互，便可以推动其走向“强”人工智能阶段。在市场销售领域，如果机器能够精准的识别出顾客对某种产品的喜好程度，商家就可以据此做出一定的营销策略和市场决策，促进经济的发展；在公共安全领域，如果机器能够判断出某人的异常情绪，就可及时预防犯罪的发生；在校园教育领域，如果机器能够识别出学生对某个知识点的理解程度所做出的表情，教师即可及时调整授课策略，调整授课进度等；在安全驾驶领域，人机交互系统如果能够根据司机的表情和言语表达，判断出司机的驾驶行为和状态，就可以及时避免危险事故的发生。因此研究具有情感识别特别是能精准的判别人脸表情的机器人在现实生活中显得尤为重要。

根据提取面部表情特征的方法可以将表情识别方法分为两类，一是传统的基于人工设计特征的表情识别方法，二是基于深度学习的表情识别方法。使用人工设计特征的表情识别方法比较成熟，但是只能提取人工设定好的特征，提取的特征比较单一化，特征表达能力不足，适应性差。基于深度学习的表情识别是一种端到端的学习方式，它能学习到图像中潜在的多样化特征，对光线变化和头部偏转比较鲁棒，近几年以深度学习为基础的表情识别方法成为了主流。虽然现如今大多数的方法在识别率方面获得了很大的提升，但是都只是从表情的全局图像提取特征，并没有考虑局部图像信息。由于人类的个体属性差异、光照、遮挡等外界环境的干扰，全局图像所受到的影响较大，会存在一些无用信息对模型的识别造成干扰，这是一点需要改进的地方。

深圳市点猫科技有限公司申请的专利“一种基于深度学习的人脸表情识别方法、装置及设备”(专利申请号202011345478.X，公布号CN112149651A)中公开了一种基于深度学习的人脸表情识别方法。该专利用生成对抗网络和原始图像生成了丰富的表情图像用于训练网络，缓解了模型过拟合问题，提升了识别准确率。该专利申请公开的方法存在的不足是：它是从全局图像提取表情特征，没有像人类那样综合人脸的一些局部信息识别表情，因为人类观察表情的时候都是先看人脸的几个局部信息，而后综合考虑到底是什么表情，本发明为了弥补现在识别方法的不足和模仿人眼识别表情机制，提出了一种基于视觉自注意力网络的表情识别方法。

发明内容

为了使模型综合考虑到不同局部图像的信息以提高特征的判别性表达，本发明提出了一种适用于视觉领域的自注意力网络。具体来说，本发明为了把局部图像的鲁棒性特征进行融合，通过对自然语言处理领域中的Transformer模型进行改造，构成了一种视觉自注意力网络，其能够考虑到局部图像之间的相互影响，把不同的局部图像特征进行相互融合，使提取出的图像特征有了更加判别性的表达。

为实现上述目的，本发明采用的技术方案为一种基于视觉自注意力网络的表情识别方法，该方法是按以下步骤实现的；

S1：数据准备，将训练数据输入到局部图像生成模块获得局部图像；

本步骤用于获得每个训练数据的三种局部表情图像。

S2：把局部图像输入至视觉自注意力网络进行训练，得到训练好的模型；