[发明专利]基于注意力机制的人脸表情识别方法

权利要求书

1.一种基于注意力机制的人脸表情识别方法，其特征在于：首先构建人脸表情识别模型，其结构按照图像输入顺序为：卷积模块、最大池化模块、注意力残差模块、最大池化模块、注意力残差模块、最大池化模块和两个全连接层以及softmax函数，通过端到端的方式获得收敛后的人脸表情预测结果；注意力残差模块为在残差网络的基础上添加自注意力机制和通道注意力机制，用以提高对输入图像中有用信息的敏感度，抑制无用信息；其添加方式为串行和并行两种方式，其中串行方式又分为先进行自注意力后进行通道注意力、先进行通道注意力后进行自注意力，并行方式即为自注意力和通道注意力并行；利用自注意力计算输入的人脸表情特征图中所有位置像素的加权平均值来计算人脸表情特征图中关键位置的相对重要性，关键位置为识别表情重要的位置，具体为特征图中对与识别表情重要的位置，包括嘴巴和眼睛；然后利用通道注意力学习通道域上的不同特征从而产生通道注意力，以学习不同通道中相互作用特征，使特征图的通道能够对目标进行检测，从而使通道定位到特征图的关键位置，提升鲁棒性；最后，将自注意力机制和通道注意力机制相融合以鼓励人脸表情识别模型提取人脸表情特征图中关键位置作为全局重要特征的能力，通过端到端的学习方式，利用重复的最大池化模块、注意力残差模块减少误差，输出最优识别结果。

2.根据权利要求1所述的基于注意力机制的人脸表情识别方法，其特征在于人脸表情识别模型的构建过程中利用的残差网络y＝F(x，{W_i})+x的基础上引入自注意力机制，其中x和y分别表示残差网络的输入和输出信息，F(x，{W_i})表示残差映射。

3.根据权利要求1所述的基于注意力机制的人脸表情识别方法，其特征在于：自注意力模块利用非局部操作在计算特征图每个位置的输出时关注图像中所有和当前表示相关的信号，将获得相关性权重表征其他位置和当前待计算位置的相关性，定义如下：

其中i表示输出特征图中的任意位置，j是特征图中所有可能位置的索引，x为输入特征图，y是输出特征图，输出的特征图与输入的特征图像素值发生改变，尺寸与输入特征图相同，f是计算任意两点间相关性的函数，g是一元函数，用于进行信息变换，C(x)为归一化函数；由于f和g都是通式，结合神经网络需要考虑具体形式，首先，g是一元输出，采用1×1卷积代替，形式如下：g(x_j)＝W_gx_j，将f表示的任意两点代入嵌入空间中的两个位置，计算公式为：其中，θ(x_i)＝W_θx_i，φ(x_j)＝W_φx_j，归一化参数对于给定的位置i，就变成了计算所有位置j的softmax，得到自注意力层的输出为：

设自注意力网络的输入特征图为F^H×W×C，经过两个卷积权重W_θ和W_φ将其变换到两个嵌入空间，得到F^H×W×C′和F^H×W×C′，通常C′＜C，这里的目的是降低通道数，减少计算量；其次，分别对这个输出特征图进行reshape操作，变成F^HW×C′，接着对经W_θ变换得到的矩阵执行转置运算后进行矩阵相乘，计算相似性，得到相似性矩阵F^HW×HW，然后在最后一个维度上进行softmax操作，相当于得到了当前特征图中每个像素与其他位置像素的归一化相关性；最后对g先降维再进行reshape操作，然后和矩阵F^HW×HW进行相乘，将注意力机制应用到特征图的所有通道上，最后经过一个1×1的卷积恢复通道，保证输入和输出尺寸完全相同；

从数学角度上说明，假设自注意力网络的前一层的特征图为x∈R^C×N，它首先被映射到两个特征空间f和g中，其中f＝W_fx，g＝W_gx

式中，β_j，i表示在合成特征图的第j个区域时，第i个位置对其贡献的大小，这里的C表示前一层特征图的通道数，N表示前一层特征图像素的个数。这样自注意力层的输出o＝(o₁，o₂，...，o_j，...，o_N)，其中：

式中，W_θ∈R^C′×C，W_g∈R^C′×C，W_v∈R^C×C′为卷积核的权重，C′为一个超参数，且C′＜C；

然后引入残差连接，最终的自注意力模块输出为：y_i＝γo_i+x_i，其中，γ是一个可学习的超参数，初始化为0，在训练过程中逐渐增大权重。