[发明专利]基于迁移学习技术的面部表情识别方法

说明书

本发明公开了基于迁移学习技术的面部表情识别方法，实时面部数据采集，面部图像识别并截取、灰度化处理、人脸面部LBP特征提取，比较平均脸确定每个测试样本属于的领域，查看模型库是否存在对应的迁移模型，如存在，则将图片文件放入模型中预测，否则继续执行；采用对源域样本采样的迁移学习方法进行模型训练和预测，在目标领域样本不足的情况下，通过目标领域的少量样本来指导源领域样本采样，如判定对了相关数据样本，则对新的样本进行标记，使用被采样保留的源领域数据和目标领域数据一起参与下一轮的监督式机器学习模型的训练，而新训练得到的模型可用来预测将来的目标领域的面部表情类别。真实环境中跨领域面部表情分类时识别准确率高。

技术领域

本发明属于面部数据处理技术领域，特别是涉及一种基于迁移学习技术的面部表情识别方法。

背景技术

迁移学习是当前机器学习领域中一个非常活跃的研究方向，它的提出是为了解决源领域和目标领域数据的概率分布不同、或者源领域和目标领域相关但是任务不同的一些机器学习问题。但是迁移学习也存在一些短板，其大多是在学术界被广泛研究，产业界对迁移学习的应用研究相对较少。

面部表情识别是人工智能以及模式识别学科中的一个重要研究领域。其目的是通过特征工程和模式识别方法识别现实场景中的人脸表情类别。

现有的面部表情识别围绕特征工程、机器学习中的监督式学习方法训练数据，得到面部表情分类模型，用来识别新出现的样本的面部表情。主流的面部识别方法主要包含以下几个步骤：a)、识别人脸；b)、对面部提取图像特征，较为常用的特征包含LBP[1]或者SIFT[2]特征，其中，LBP为局部二值模式特征，其能够很大程度上避免因光照导致的图像人脸特征出现较大偏差，而SIFT特征是也图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；c)、对面部数据添加标签，标注表情类别，如“害怕”、“愤怒”、“开心”、“正常”、“伤心”、“惊讶”等；d)、使用b)步骤得到的向量化的面部表情样本数据以及样本集对应的标签向量，使用监督式学习方法，如支持向量机、朴素贝叶斯、神经网络等分类算法学习分类模型；e)、将学习到的模型固化应用在具体产品中。

现有的技术大多使用软件或者生产环境下的基准面部表情数据集进行分类模型训练，这种模式存在以下一些技术缺点：

(1)实际环境(目标领域)中的训练数据量过少。

现有的迁移学习都存在两方面的根本问题：一方面目标域数据量少，需要找到辅助域数据进行实例迁移，而能够对目标域数据进行辅助的领域数据比较单一，容易造成数据分布与目标域数据分布不相同，从而造成负迁移现象。另一方面，如果要继续发展目标域数据，标记目标域中无类标数据需要大量的人工和专家知识，需要耗费大量的资源，而且所标记的数据类标的正确与否无法判断。

(2)源领域训练样本具有局限性。

现有的表情数据模型训练大多基于一些基准数据集，这些数据集具有独特性、往往是在特定条件下进行的拍照采集或者处理，著名的人脸表情基准数据集如KDEF数据集，其拍摄背景为单一且拍摄色调基本统一，但是现实场景中的背景往往不单一而且色调多样，因此使用单一的数据集训练的模型在具体环境下对表情进行预测往往会产生偏差。

(3)数据模型被固定在软件产品中，无法根据具体生产环境进行模型的更新迭代。

目前常用的基于机器学习或者模式识别的软件产品往往在生产初期结合训练数据训练得到一个较好的模型，但是该模型的训练数据可能和实际环境中的数据存在数据分布不一致的情况，如果不能及时对模型进行更新迭代，那么以模型为依托的软件产品可能会逐渐不适应新的环境。对于某些软件行业来说，反复的针对新的环境进行新的模型训练极大地消耗了人力物力，被固化的数据模型并不利于企业节约成本。

(4)迁移学习技术很少被使用在实际应用产品中。