[发明专利]基于动作放大和自适应注意力区域选取的微表情分类方法

权利要求书

1.一种基于动作放大和自适应注意力区域选取的微表情分类方法，其特征在于，包括如下步骤：

步骤S1、获取微表情数据集，提取出起始帧和峰值帧；

步骤S2、将提取的起始帧和峰值帧输入动作放大网络，生成动作放大后的图像；

步骤S3、对放大后的图像进行预处理，根据leave-one-subject-out的原则划分训练集和测试集；

步骤S4、利用自适应注意力区域选取方法对预处理后的图像进行识别，得到最终分类的结果；

所述步骤S2具体包括如下步骤：

步骤S21、设计编码器对起始帧p_start和峰值帧p_apex进行形状和纹理特征的提取，编码器由卷积层和ResBlock组成，令T(·)表示编码器纹理特征提取模块函数，则t＝T(p)，其中t＝{t_start|apex}表示输入帧的纹理特征，令S(·)表示编码器形状特征提取模块函数，则s＝S(p)，其中s＝{s_start|apex}表示输入帧的形状特征；

步骤S22、设计放大器对起始帧p_start和峰值帧p_apex形状特征进行放大，通过神经网络的卷积层和激活函数模拟带通滤波器的动作放大效果，强化变化强度较大的频率上的信号，过滤变化强度较小的频率上的噪声，此处令G(·)表示放大器中k3s1卷积和激活函数ReLu构成的函数映射，令H(·)表示放大器中k3s1卷积和ResBlock构成的函数映射，则最终放大器放大得到的结果为：

M(s_start,s_apex,α)＝s_start+H(α·G(s_apex-s_start))

其中M(·)表示放大器的映射函数，α表示放大倍率，s_start表示起始帧的形状特征，s_apex表示峰值帧的形状特征；

步骤S23、设计解码器模拟拉格朗日方法进行运动放大时的金字塔重构融合过程，解码器部分同样为一个小型的卷积神经网络，神经网络的输入为纹理特征t_start|apex和放大器得到的放大后的形状特征M(s_start,s_apex,α)，其中先对纹理特征t_start|apex进行上采样，并连接形状特征M(s_start,s_apex,α)和纹理特征t_start|apex，此处是对需要强化的形状特征s_start|apex放大α倍后往回叠加未经放大的纹理特征t_start|apex，以此对可能会引进的噪声进行抑制，而后经过9个ResBlock，再进行一次上采样和两个k3s1的卷积层得到最终的输出结果；

所述步骤S4具体包括如下步骤：

步骤S41、设计一个自适应注意力区域选取网络对输入的放大并预处理后的微表情图像进行分类，所述的自适应注意力区域选取网络包含三个尺度的子网络，三个尺度的子网络具有相同的结构但是参数不一样，并且每个尺度的子网络上又包含两个模块，分别为分类模块和注意力区域选取模块；

分类模块由卷积层，激活层和池化层所构成，用于对输入的微表情图像进行特征的提取，其计算过程如下：

c(X)＝u(w_i*X)

其中X表示输入图像的向量表示，w_i表示网络层的参数，w_i*X即为最后提取出来的特征，u(·)函数表示最后的全连接层和softmax层，用于得到最后特征对应的类别的概率结果；

注意力区域选取模块由两个堆叠的全连接层组成，令e(·)表示注意力区域选取模块的映射函数，计算过程如下：

[l_x,l_y,l_half]＝e(w_i*X)

其中l_x和l_y表示注意力区域选取模块选取结果的区域中心点坐标，l_half表示注意力选取区域的边长的一半；

步骤S42、对于每个子网络都会经过一个分类模块和注意力区域选取模块，下一个子网络的输入值即为上一个子网络分类检测得到定位区域后裁剪特定区域位置的值，具体的裁剪操作是通过一个矩形函数实现的，首先是确定注意力区域的左上角和右下角：

l_x(tl)＝l_x-l_half

l_y(tl)＝l_y-l_half

l_x(br)＝l_x+l_half

l_y(br)＝l_y+l_half

其中l_x(tl)表示左上角坐标的横轴，l_y(tl)表示左上角坐标的纵轴，l_x(br)表示右下角坐标的横轴，l_y(br)表示右下角坐标的纵轴；

然后选取注意力区域的掩膜N(·)，其计算过程如下：

N(·)＝[v(x-l_x(tl))-v(x-l_x(br))]·[v(y-l_y(tl))-v(y-l_y(br))]

其中，N(·)为二维方脉冲函数，此处k是一个非常大的正数，从而导致v(x)的值将仅由x的正负决定，x,y为当前图像的横纵坐标，x＞0,v(x)＝1；x＜0,v(x)＝0；当且仅当l_x(tl)＜x＜l_x(br)且l_y(tl)＜y＜l_y(br)时，N＝1，否则N＝0，通过掩码矩阵N，即可实现图片的裁剪，最后计算剪裁后的结果：

X^att＝XΘN(l_x,l_y,l_half)

其中Θ表示逐个元素相乘，X^att表示剪裁后的结果；

步骤S43、在训练时，使用预训练的VGGNet初始化分类模块的参数，利用分类模块的最后一层卷积具有最高响应的区域初始化注意力区域选取模块，最后迭代地将两个模块都训练到收敛即得到最终的结果。