[发明专利]一种基于人脸动作单元检测的情绪指数计算方法

说明书

本发明属于人脸识别以及情感计算技术领域技术领域，具体涉及一种基于人脸动作单元检测的情绪指数计算方法，具体步骤包括：建立待训练数据集，形成人脸动作单元数据库；人脸动作单元动作强度检测；计算情绪指数；本发明实现了通过面部表情所表达的情绪过程，能够更加准确客观的传达细节信息，更能弥补语言所不能描述和传达的深邃信息，尤其对语言表达障碍及无法正常获取语言信息的情景应用提供了一种非常可行的方案。

技术领域

本发明涉及人脸识别以及情感计算技术领域技术领域，具体涉及一种基于人脸动作单元检测的情绪指数计算方法。

背景技术

情绪是日常生活中最为普遍的一种现象，对于有情感波动的人类来说，情绪变化随处可见，它是个体对于周围环境的一种内心感受的反映。它给人们带来快乐和满足，同时也带来了不满和失望。情绪变化影响了个体的行为和决定，通过情绪指数的自动计算能够探知人们的心理需求和变化，指导专业领域应用。而情绪指数计算可以应用于刑侦、司法、医学、教育、安全、商业等人们从事的各行各业中。情绪可以干涉甚至破坏正常的认知和体验过程，反之认知体验会发动和改变情绪的表现。犯罪刑侦中，审讯员可以通过环境和语言的诱导观察嫌疑人的情绪指数判断其心理动向，得到犯罪过程有利信息；医生可以通过治疗过程中病人的情绪指数了解其真实的内心感受，从而有针对性的对病人进行治疗；无人销售商场或电子商城中都可以通过监控中消费者的情绪变化了解其真实购买意图。

人脸动作单元(Action Unit，AU)是由美国心理学家保罗·艾克曼(Paul·Ekman)提出，将人类表达情感的脸部及身体动作划分成若干独立的单元，既有心理学的理论依据又有运动学的支持，是目前研究人类情感最为基础的理论之一。

情绪自动计算不仅是计算机技术问题，还涉及到生理学及心理学。目前对于情绪的度量分为两种形式，一个是连续度量方法，最早由冯特(Wundt)于1896年提出，将情绪按照三个维度的连续量衡量，每一个情绪均处于三维空间的某个位置，三个维度分别是愉快-不愉快，紧张-松弛，兴奋-沉静，现有连续度量方法均在此方法基础上演化而来，例如施落泊格 (Schosberg)对面部表情的情绪度量提出愉快-不愉快，注意-拒绝以及激活度三个维度进行。另外一种是离散方法，最早由艾克曼(Ekman)于1966年归纳提出，认为人的表情分为六种基本表情：愤怒，恐惧，快乐，伤心，厌恶，惊讶。这种离散分类方法影响深远，被广泛应用于情绪识别和度量实验中，在此基础上众多学者们更提出了结合具体应用的离散度量方式，例如结合教学应用，增加了专注，沉思等情绪分类。基于多维度空间连续度量方式强调准确度量，难度较大，且维度之间的重叠较难兼顾；离散度量通俗易用但却不够准确，有较多情绪不能有效表达。

如中国专利号CN 201710602227.7的专利公布了基于多任务学习与深度学习的人脸情绪分析方法及系统，包括利用卷积神经网络学习人脸库中预设的分析任务的卷积层，得到人脸分析模型；获取待分析人脸图像，利用人脸检测算法对所述待分析人脸图像进行分析，提取待分析人脸图像中人脸区域；利用所述人脸分析模型对所述待分析人脸图像进行预测，得到所述待分析人脸图像中每个人脸区域对应的情绪信息。本发明应用多任务学习的概念于卷积神经网络上，使得多种和人脸相关的分析任务，可以用同一个分析模型来识别，如此可以减少分析模型的大小和加快识别的时间。另外，该发明针对人脸的不同部位用不同的卷积层来描述，使得各卷积层的任务较单一且专精，可以达到更好的识别效果。但是并没有提出一种基于人脸动作单元检测的情绪指数计算方法及系统。

中国专利申请号为：CN201811076388.8的专利公布了一种基于深度卷积神经网络的人脸微表情动作单元检测方法，其中公布了关于人脸特征点的位置以及动作单元的划分。本申请采用了其技术内容并做了补充。

发明内容

本发明的目的是针对现有技术的不足，本发明的目的在于提供一种基于人脸动作单元检测的情绪指数计算方法，用深度学习方法检测人脸动作单元及其强度，建立数学模型计算情绪指数，用-1到1之间的一个一维连续值度量人脸表情所要表达的情绪，兼顾了离散情绪度量和连续情绪度量的优点，能够通过连续数值较为准确的表达情绪状态，且计算原理简单准确度高。