[发明专利]一种基于情感分布学习的情感成分分析方法及其系统

说明书

技术领域

本发明涉及模式识别和机器学习，特别涉及情感分布学习和人脸情感成分分析。

背景技术

人脸情感成分分析是根据一幅人脸表情图像，估计出该图像中6种基本情感所占的成分比。人脸表情分析技术目前主要的应用领域包括：1)人机交互，计算机通过估计人脸表情所包含的情感来给出一系列响应；2)安全领域，表情分析可对重要工作人员的疲劳、瞌睡等表情做出警报响应(如：长途汽车司机、核电站管理人员)；3)医疗领域，表情分析可用于机器人手术操作和电子护士的护理，可根据患者面部表情变化及时发现其身体状况的变化，避免悲剧发生。因此人脸表情分析技术的研究与发展有着十分重要的意义。在以往的研究中，人脸表情识别方法往往只识别出一种最主要的情感，而这往往是不符合现实场景的，在很多的时候，人脸表情不仅包含一种情感，而是多种情感的混合，比如说：又惊又喜，喜忧参半等等。本专利提出的方法是识别出表情图像中带有的所有的情感，并且给出每种情感所占有的成分比。

假设我们使用6种基本情感：开心、生气、惊讶、恶心、害怕、悲伤，记为(y₁,y₂,y₃,y₄,y₅,y₆)。我们提出的情感成分分析的方法，在训练过程中使用一个情感分布向量表示这些基础情感所占的比重，称为成分比，表示为(E₁,E₂,E₃,E₄,E₅,E₆)，分布中每个值都属于0到1之间，并且和为1。

发明内容

发明目的：针对现有表情分析方法仅识别出表情的一种情感的问题，本发明提出一种基于情感分布学习的情感成分分析方法及其系统，能够学习出人类表情图像中蕴含的所有情感及其所占比重，更符合现实生活中的情况并可以更好地匹配现实生活中的应用。

技术方案：为了解决上述问题，本发明提出一种基于情感分布学习的情感成分分析方法，包括如下步骤：

1)获取用于训练的人脸表情图像集，截取出人脸部分；

2)将图像集中的所有图像缩放到统一大小的分辨率；

3)对步骤2)中缩放后的图像提取图像特征向量；

4)分别给每幅图像的每种基础情感进行打分，计算每种情感的平均分，并进行归一化处理得到该幅图像的情感分布向量；

5)计算每一对基础情感之间的相关系数，利用这个相关系数计算权值矩阵；

6)使用图像特征向量及其情感分布作为训练集，将最大熵模型与Jeffrey散度以及步骤5中的权值矩阵结合起来，再加上两个正则化项生成目标函数，并优化该目标函数得到用于情感分布预测的参数模型；

7)对于待进行情感分布估计的图像新经过步骤1、2、3提取人脸的特征向量，再使用步骤6中训练出来的模型来预测情感分布，表示各种基础情感在该表情图像中所占的成分比，若情感标记所对应的值大于虚拟标记成分比，则判定为主要情感成分。

所述步骤1中人脸部分截取的具体方法为：手工定位两只眼睛的位置，计算两只眼睛的中心点p、两眼睛之间的距离d，截取中心点p距离左边缘的距离为l*d，距离右边缘的距离为r*d，距离上边缘的距离为t*d，距离下边缘的距离为b*d的人脸部分，其中l、r、t、d为预设值，分别表示图像从两眼中心点p出发，向左右上下所要截取的距离关于两眼距离的比例。

所述步骤3中提取的人脸特征为LBP特征。

所述步骤4为开心、生气、惊讶、恶心、害怕、悲伤6种基础情感打分，其中5分为最高分，表示表情与情绪的相关度高，1分为最低分，表示表情与情绪的相关度低。

所述步骤5中权值矩阵的具体计算公式为：