[发明专利]一种基于移动端的多视角人脸表情识别方法

权利要求书

1.一种基于移动端的多视角人脸表情识别方法，其特征在于，包括以下步骤：

S1.从每张图像中裁剪出人脸部分的图像，并进行数据增强，得到训练AA-MDNet模型的数据集；

S2.利用GAN模型扩展步骤S1得到的数据集；

S3.对步骤S2得到数据集中的图像利用ADN多尺度裁剪方法进行裁剪；ADN多尺度裁剪方法具体为：对于包括三个尺度输入的ADN网络模型，对于第一个尺度的网络，输入N×N大小的原始图片；经第一个尺度下ADN网络得到关键区域后，将原始图片上关键区域的图像裁剪出来并通过双三次插值方法放大到N×N大小，作为第二个尺度网络的输入图像；同理，第二个尺度的输入图像先经过ADN网络得到关键区域，裁剪放大后作为第三个尺度的输入图像；

S4.将裁剪后的图像输入AA-MDNet模型，AA-MDNet模型包含多个尺度的网络，每个尺度的网络包含密集连接子网络DenseNet和注意力自适应网络ADN，输入的图像先通过密集连接子网络DenseNet提取特征，然后基于提取到的特征，使用注意力自适应网络ADN进行训练，得到表情和姿态的注意力区域的位置参数，再根据位置参数从输入图像中裁剪出该区域的图像进行缩放，学习得到表情高层特征；所述注意力自适应网络ADN一共有两个全连接层，其后分别接tanh激活函数和sigmoid激活函数，第一个全连接层的输出维度设置为512，第二个全连接层的输出维度设置为3；

S5.将上一尺度得到的图像作为下一个尺度的输入图像，重复步骤S4直至所有尺度的网络对图像处理完成，进行多尺度的特征融合，得到具有全局和局部融合特征的表情高层特征。

2.根据权利要求1所述的基于移动端的多视角人脸表情识别方法，其特征在于，所述步骤S1中，数据增强包括随机裁剪、平移、翻转、色彩抖动、亮度变化、饱和度变化、对比度变化和锐度变化。

3.根据权利要求1所述的基于移动端的多视角人脸表情识别方法，其特征在于，所述步骤S2中，GAN模型包括四部分：生成模型G、图像判别模型D_ep、身份判别模型D_id和表情分类器C_e，生成模型G包括编码器G_e和解码器G_d；编码器G_e和解码器G_d将输入数据编码分析、解码重构，生成图像，两者都由卷积层和全连接层构成；图像判别模型D_ep用于判断输入图片的真实性，由卷积层和全连接层构成；身份判别模型D_id用于平滑姿态和表情变换，控制身份特征，由全连接层构成；表情分类器C_e用于表情分类，以优化表情生成，由卷积层和全连接层构成。

4.根据权利要求1所述的基于移动端的多视角人脸表情识别方法，其特征在于，所述步骤S4中，密集连接子网络DenseNet包含初始卷积层、密集块、过渡层和分类层，初始卷积层用于对输入图像进行初始的特征提取，该层操作依次为卷积操作，其中的卷积核大小为7×7、批标准化、ReLU激活和最大池化；密集块的每一层输出的特征图都用于后面每一层的输入，每一层的操作依次为批标准化、ReLU激活、1×1卷积、批标准化、ReLU激活和3×3卷积；密集块之间的过渡层用于对特征图进行降维，进一步压缩参数数量，过渡层的操作依次为批标准化、ReLU激活、1×1卷积和平均池化；分类层根据提取的特征进行多任务分类，分别是姿态分类和表情分类，分类层包括全局平均池化、两个全连接和两个softmax，用于姿态分类的全连接输出维度为5，用于表情分类的全连接输出维度为6。