[发明专利]一种基于卷积神经网络的面部情感分析方法

说明书

本发明公开的一种基于卷积神经网络的面部情感分析方法，包括选择训练样本和验证样本；输入训练样本，得到归一化人脸图像以及归一化人脸特征点；将归一化人脸图像送入卷积神经网络模型提取情感特征，将归一化人脸特征点信息送入全连接层得到位置特征，将情感特征与位置特征进行拼接；将情感特征映射为二维的预测标签，定义损失函数，衡量损失，使网络反向传播，完成模型训练，再通过验证样本验证即可。本发明面部情感分析方法采用卷积神经网络模型和多输出均方根误差提取情感特征，同时加入人脸特征点，即克服了人为定义特征丢失情感信息的问题，又描述情感维度之间的相关性，提高了模型的预测性能准确性。

技术领域

本发明属于图像处理技术领域，具体涉及一种基于卷积神经网络的面部情感分析方法。

背景技术

情感计算的概念最早于上世纪90年代被MIT媒体实验室提出，科学家们试图把“主观的情感”变为计算机可以认知计算的信息，情感计算可以实现人机之间的无障碍交流，使计算机趋向于智能化。情感计算大致可分为识别和传达两个过程，识别即让机器通过学习能准确的分析出人类的情感状态，表达即让机器可以在合适的载体上准确的传达出情感，现阶段研究重心在于如何让机器准确识别面部情感进而分析。

传统基于机器学习的面部情感识别大多主要集中于人脸表情特征的选择与提取方面，按照人为预先定义的对面部情感特征进行分析。但自然状态下的人脸，具有相同情感的两个面部图像往往存在较大的差异(姿态以及人脸固有的外观差异)，按照统一预定义的规则提取特征，会造成同种情感的不同样本提取的情感特征差异较大；其次手动提取特征实质就是按照预定义的规则对高维图像降维，这个过程往往会造成情感信息丢失。

随着深度学习的发展，基于深度卷积网络的面部情感逐渐成为热门研究领域，让网络自行学习所需情感特征并进行分析替代了传统人为定义的方式。但当下的深度学习分析方法都忽略了描述情感所用维度之间的相关性，研究面部情感信息时将描述维度Arousal(兴奋度)，Valence(活跃度)等独立于彼此进行计算，这导致忽略了两个维度之间的正相关关系，降低了模型的预测性能。

发明内容

本发明的目的是提供一种基于卷积神经网络的面部情感分析方法，解决了现有模型进行面部情感分析时，忽略情感维度之间相关性、降低预测的准确性的问题。

本发明所采用的技术方案是，一种基于卷积神经网络的面部情感分析方法，包括以下步骤：

步骤1，选择训练样本和验证样本；

基于Affect-Net数据库的九种离散标签，选取对应的九类离散样本，每类离散样本均取不少于10500个样本，不少于10000个作为训练样本，不少于500个作为验证样本；因此，选取不少于90000个作为训练样本，不少于4500个作为验证样本，在Affect-Net数据集提供的测试集上测试模型的性能；

步骤2，输入步骤1中的训练样本作为的待处理人脸图像，预处理，得到归一化人脸图像以及归一化人脸特征点；

步骤3，将步骤2的归一化人脸图像送入卷积神经网络模型提取情感特征，并将归一化人脸特征点信息送入卷积神经网络模型全连接层得到位置特征，最终情感特征与位置特征进行拼接；

步骤4，将步骤3得到的情感特征经过全连接层线性映射为二维的预测标签arousal和valence值，定义卷积神经网络的损失函数，衡量损失，使网络反向传播，直至网络模型训练完成；

步骤5，将步骤1中验证样本中的图像作为输入，重复步骤2-4，完成验证。

本发明的特征还在于，

步骤2具体为：