[发明专利]人物情绪分析方法、装置及存储介质

说明书

本发明提出一种人物情绪分析方法，该方法包括：获取摄像装置拍摄到的一张实时图像，利用人脸识别算法从该实时图像中提取一张实时脸部图像；将所述实时脸部图像输入预先确定的AU分类器，得到从该实时脸部图像中识别出的每个AU的概率；将该实时脸部图像中所有AU的概率组成该实时脸部图像的特征向量；及，将所述特征向量输入预先确定的情绪分类器，得到从该实时人脸图像中识别出每种情绪的概率，取概率最大的情绪作为从该实时人脸图像中识别出的情绪。本发明还提出一种电子装置及计算机可读存储介质。利用本发明识别出实时脸部图像中的AU特征及概率，根据每个AU特征及概率识别出实时脸部图像中的人物情绪，有效提高人物情绪识别的效率。

技术领域

本发明涉及计算机视觉处理技术领域，尤其涉及一种人物情绪分析方法、装置及计算机可读存储介质。

背景技术

人脸情绪识别是人机交互与情感计算研究的重要组成部分，涉及心理学、社会学、人类学、生命科学、认知科学、计算机科学等研究领域，对人机交互智能化和谐化极具意义。

国际著名心理学家Paul Ekman和研究伙伴W.V.Friesen作了深入的研究，通过观察和生物反馈，描绘出不同的脸部肌肉动作和不同表情的对应关系。FACS就是经过多年研究于1976年所创制的“面部表情编码系统。根据人脸的解剖学特点，可将其划分成若干既相互独立又相互联系的运动单元(action unit，AU)，这些运动单元的运动特征及其所控制的主要区域可以反映出面部表情。

目前，识别脸部图像中的AU特征、对AU特征进行组合来判断面部情绪方法比较普遍，然而，该方法并没有考虑到每个AU的权重，比如说有些人天生眉毛就有些上扬，但AU检测出来后，就直接算做AU组合中的一个成员参与情绪判定，这样就有可能出现情绪误判定，造成情绪识别准确率不高。

发明内容

本发明提供一种人物情绪分析方法、电子装置及计算机可读存储介质，其主要目的在于通过识别出实时脸部图像中的AU特征及概率，根据每个AU特征及概率识别出实时脸部图像中的人物情绪，有效提高人物情绪识别的效率。

为实现上述目的，本发明提供一种电子装置，该装置包括：存储器、处理器及摄像装置，所述存储器中包括人物情绪分析程序，所述人物情绪分析程序被所述处理器执行时实现如下步骤：

获取摄像装置拍摄到的一张实时图像，利用人脸识别算法从该实时图像中提取一张实时脸部图像；

将所述实时脸部图像输入预先确定的AU分类器，得到从该实时脸部图像中识别出的每个AU的概率；

将该实时脸部图像中所有AU的概率组成该实时脸部图像的特征向量；及

将所述特征向量输入预先确定的情绪分类器，得到从该实时人脸图像中识别出每种情绪的概率，取概率最大的情绪作为从该实时人脸图像中识别出的情绪。

优选地，所述预先确定的AU分类器的训练步骤包括：

准备包含一定数量的人脸样本图像的第一样本集，从人脸样本图像中分别截取每个AU相匹配的图像区域作为该AU的正样本图像，并为每个AU准备负样本图像；

将每个AU的正/负样本图像分为第一比例的训练集和第二比例的验证集；

利用所述训练集训练卷积神经网络，得到所述AU分类器；及

利用所述验证集验证训练的所述AU分类器的准确率，若准确率大于或者等于预设准确率，则训练结束，或者，若准确率小于预设准确率，则增加样本数量并重新执行训练步骤。

优选地，所述预先确定的AU分类器的训练步骤还包括：

对所述第一样本集中的样本图像进行预处理操作，包括：缩放、裁剪、翻转及/或扭曲。

优选地，所述预先确定的情绪分类器的训练步骤包括：