[发明专利]一种基于移动端的多视角人脸表情识别方法

说明书

本发明公开了一种基于移动端的多视角人脸表情识别方法，包括从每张图像中裁剪出人脸区域，并进行数据增强，得到用于训练AA‑MDNet模型的数据集；利用GAN模型扩展得到多姿态数据集；利用ADN多尺度裁剪方法进行裁剪；将裁剪后的图像输入AA‑MDNet模型，输入的图像先通过密集连接子网络DenseNet提取特征，然后基于提取到的特征，使用注意力自适应网络(ADN)进行训练，得到表情和姿态的注意力区域的位置参数，再根据位置参数从输入图像中裁剪出该区域的图像进行缩放，将其作为下一尺度的输入；学习多尺度的高层特征融合，得到具有全局和局部融合特征的表情高层特征，最后分类得到人脸姿态和表情类别。本发明在人机交互、人脸识别和计算机视觉等领域有十分重要的意义。

技术领域

本发明涉及人脸表情识别领域，具体涉及一种基于移动端的多视角人脸表情识别方法。

背景技术

人类传递情感和信息主要依靠形体语言和自然语言。自然语言在时间维度上主要指文字记录，但是单独依靠文字不足以详细地描述记录下来的信息。面部表情是人体(形体)语言的一部分，是一种生理及心理的反应，通常用于传递情感。如果机器可以识别表情，它将在远程教育、医疗等行业有着广泛的应用前景，推动着人机交互、情感计算、机器视觉等领域的发展，因此对人脸表情识别算法的研究具有重要意义。比如可以根据司机的面部表情的变化来判断是否疲劳驾驶，防止司机因疲劳驾驶而发生事故。

早在20世纪70年代末，国外就有专家学者开始研究计算机人脸表情识别。Suwa等人把连续序列的人脸图像标记成20个特征点，而后进行辨认跟踪，与原模型进行比较来完成表情识别。随后Paul Ekman等人经过研究，提出了高兴、悲伤、惊奇、生气、恐惧、厌恶这6种最基本的表情。

过去的表情识别技术采用的是传统的机器学习方法，即先提取人脸的某一特征数据，然后用此数据训练SVM等分类器，训练得到的分类器即可用于表情识别。从2006年以来，加拿大多伦多大学教授Hinton等人在《科学》上发表了文章，掀起了深度学习研究的浪潮。近年来，国内外的一些优秀学者们开始采用深度学习来进行人脸识别和表情分析。与传统机器学习相比，深度学习网络能够更好地提取图片的本质特征，更准确地挖掘数据中的共有信息，从而提升分类的准确性。

使用深度学习对图像进行层层滤波和筛选，最终得到结果；处理的层数越多，得到的结果准确率越高。随着网络日渐加深和大数据驱动所导致的数据激增，训练结果的准确率提高的同时带来一个问题：深度学习模型越来越大，动辄上百兆，这对于只能分配到几十兆空间的手机移动端App来说是无法接受的，必须进行模型压缩和优化。

常用的模型压缩有剪枝、量化和霍夫曼编码。剪枝的方法比较直观，即在训练神经网络时，每个神经元会有一个权重，而权重有大小之分。其中权重小的表示对最终结果的影响力非常小，所以在不会影响到最终结果的情况下，将小的权重砍掉。量化是将32比特位的权重聚众到四个类中，用这四个类来存储权重值。霍夫曼编码的思想是：由于部分权重出现的次数远高于其他权重，因此对于出现次数较多的权重，可以用更少层比特位来编码；对于出现次数较小的权重，用较大的比特位表示。

不管采用什么方法压缩模型都会在一定程度上造成精度损失或计算量增加，最直接的方法还是希望可以训练出低参数高准确率的模型。

发明内容

有鉴于此，本发明的实施例提供了一种参数少、精度高的模型，不需要经过过多模型压缩即可部署在移动终端的基于移动端的多视角人脸表情识别方法。

本发明的实施例提供一种基于移动端的多视角人脸表情识别方法，包括以下步骤：

S1.从每张图像中裁剪出人脸部分图像区域，并进行数据增强，得到训练AA-MDNet模型的数据集；

S2.利用GAN模型扩展步骤S1得到的数据集；

S3.对步骤S2得到数据集中的图像利用ADN多尺度裁剪方法进行裁剪；