[发明专利]一种基于视觉自注意力网络的表情识别方法

权利要求书

1.一种基于视觉自注意力网络的表情识别方法，其特征在于，该方法是按以下步骤实现的：

S1：数据准备，将训练数据输入到局部图像生成模块获得局部图像；

S2：把局部图像输入至视觉自注意力网络进行训练，得到训练好的模型；视觉自注意力网络由4层所设计的视觉自注意力层、全局平均池化层和全连接层结构叠加组成，其中每层的视觉自注意力层由三组并列的视觉特征提取模块和自注意力特征融合机制构成，其连接关系是三组视觉特征提取模块的输出作为自注意力特征融合机制的输入；

S3：将待识别的图像经过预处理送入到训练好的视觉自注意力网络中进行识别，得到结果。

2.根据权利要求1中所述的一种基于视觉自注意力网络的表情识别方法，其特征在于，所述S1的具体步骤包括：

S1.1数据的准备

所使用的数据由公开的表情数据集CK+，Oulu-CASIA，RAF-DB组成，前两个数据集中用10折交叉验证的方法取8折作为训练数据，最后一个数据集用给出的训练集作为训练数据；

S1.2局部图像生成模块

所述的局部图像生成模块由人脸检测方法和数据增强技术组成，人脸检测方法使用的是Dlib库中基于深度学习的人脸检测方法，数据增强技术用来构建局部图像，其所用到的数据增强技术包括对图像进行水平翻转，随机旋转，调节亮度、对比度、饱和度和色度，最后对图像进行随机裁切并进行标准化；

将上述局部图像生成模块中的流程运行三次，由此生成三个局部图像。

3.根据权利要求1中所述的一种基于视觉自注意力网络的表情识别方法，其特征在于，所述的三组并列的视觉特征提取模块均由残差结构、询问向量(q)生成模块、关键向量(k)生成模块和值矩阵(V)生成模块构成；

残差结构由ResNet中的残差模块(Res Module)，最大池化层(MP)组成，其连接关系为：Res Module、MP；

询问向量(q)生成模块由深度可分离卷积层(DSC1)，全局平均池化层(GP1)构成，其连接关系依次为：DSC1、GP1；

关键向量(k)生成模块由深度可分离卷积层(DSC2)，全局平均池化层(GP2)构成，其连接关系依次为：DSC2、GP2；

值矩阵(V)生成模块只由深度可分离卷积层(DSC3)组成；

视觉特征提取模块的具体结构组成包含三个并列的子结构，其具体连接关系分别是(1)残差结构、询问向量生成模块；(2)残差结构、关键向量生成模块；(3)残差结构、值矩阵生成模块；残差结构的输出同时是询问向量生成模块、关键向量生成模块和值矩阵生成模块的输入；因此数据经过视觉特征提取模块会有三个输出，对应的分别是询问向量、关键向量和值矩阵，由此可得三组视觉特征提取模块一共输出了三个询问向量，三个关键向量和三个值矩阵。

4.根据权利要求1中所述的一种基于视觉自注意力网络的表情识别方法，其特征在于，所述的自注意力特征融合机制为：

F＝Softmax(QK)V

式中Q是三组视觉特征提取模块输出的三个询问向量拼接而成；K是三组视觉特征提取模块输出的三个关键向量拼接而成；V是由三组视觉特征提取模块输出的三个值矩阵拼接而成；Softmax指的是Softmax函数。

5.根据权利要求1中所述的一种基于视觉自注意力网络的表情识别方法，其特征在于，所述的视觉特征提取模块中的各个组成部分其详细参数如下：

残差结构中的残差模块由两个卷积层叠加组成，两个卷积层的卷积核大小均为3×3，步长和padding均设置为1，每个卷积层后面均用Batch Normalization函数进行规范化，激活函数设置为Relu激活函数；最大池化层的窗口尺寸为2×2，步长为1；

询问向量生成模块、关键向量生成模块和值矩阵生成模块中的深度可分离卷积层均由相同结构的深度卷积和逐点卷积构成，其中深度卷积的输出通道数均等于输入通道数，其卷积核大小设置为3×3，卷积步长设置为1，卷积的组数设置为输入通道数；逐点卷积中卷积核大小均设置为1×1，卷积步长设置为1；深度卷积后都用Batch Normalization函数进行规范化，激活函数为Relu6激活函数。