[发明专利]一种基于人脸动作单元检测的情绪指数计算方法

摘要

本发明属于人脸识别以及情感计算技术领域技术领域，具体涉及一种基于人脸动作单元检测的情绪指数计算方法，具体步骤包括：建立待训练数据集，形成人脸动作单元数据库；人脸动作单元动作强度检测；计算情绪指数；本发明实现了通过面部表情所表达的情绪过程，能够更加准确客观的传达细节信息，更能弥补语言所不能描述和传达的深邃信息，尤其对语言表达障碍及无法正常获取语言信息的情景应用提供了一种非常可行的方案。

主权项

1.一种基于人脸动作单元检测的情绪指数计算方法，其特征在于，包括如下具体步骤：步骤1，建立待训练数据集，形成人脸动作单元数据库：通过对抗生成网络生成数据库中人脸表情图像，标注人脸特征点，标注过程按照有监督的下降方法(Supervised Descent Method)完成。通过人脸特征点信息标注人脸位置区域及人脸动作单元，形成待训练数据集；按照Ekman定义描述方法将每个人脸动作单元的动作强度分为{1,2,3,4,5}五个等级；步骤2：人脸动作单元动作强度检测：步骤2.1：基于谱聚类及无位置交叠的预定义检测形状框：在步骤1的基础上，根据人脸的AU得到其AU变化的位置区域，将这些位置区域称为训练框数据，对所有的训练框数据利用谱聚类方法并根据人脸及人脸动作单元形状特点自动分为6类，取每类的中心的长宽值作为预定义框位置信息；步骤2.2，检测并优化人脸动作单元动作强度：将不同强度的同一个人脸动作单元分别作为不同的待检测分类，基于深度网络学习算法检测后对一张表情人脸图片，输出不同人脸动作单元强度分类概率；按照所有同一人脸动作单元中概率值最高的动作强度作为该人脸中此动作单元的动作强度分类值，具体动作强度分类值计算公式为：此AU所确定的强度t，最终的概率计算式为：其中，t为动作强度分类值，p_i为强度为i时的识别概率值；步骤3，计算情绪指数：步骤3.1：建立人脸动作单元到人脸离散表情的关系映射，根据表情中包含的人脸动作单元的发生概率建立表情相关度矩阵W；步骤3.2：定义表情权值向量C：定义表情权值向量来表示不同情绪对情绪指数影响的具体程度，向量C_19×1为表情权值矩阵；步骤3.3：根据人脸动作单元识别结果，构建动作单元矩阵：采用步骤2中的深度学习网络对当前人脸进行人脸动作单元的检测，得到当前存在的人脸动作单元概率向量P、人脸动作单元强度向量T，转置合并后形成人脸动作单元矩阵A；步骤3.4，构建情绪相关度矩阵F：通过表情相关度矩阵W和表情权值向量C的联合计算，建立情绪值和人脸动作单元之间的映射关系，通过下式建立情绪向量R_17×1：R＝W′·C其中，W′是表情相关度矩阵W的转置；情绪相关度矩阵F_17×3用以进行情绪指数的计算：F＝[A R]它由情绪向量和动作单元矩阵联合组成，矩阵的三个列向量均表示了人脸动作单元和情绪的关系，表达了统计意义以及当前人脸上的人脸动作单元的分布情况；步骤3.5，进行情绪相关度矩阵F标准化：为了将情绪相关度矩阵F中不同列向量进行统一处理，对情绪相关矩阵进行标准化处理，将所有列向量进行归一化，如下式所示：其中，表示情绪相关度矩阵中的第j列第i行的元素，μ_j为第j列的均值，s_j为第j列的标准差；步骤3.6，计算情绪相关度矩阵F的协方差矩阵并进行特征值特征向量求取，并计算情绪指数；情绪相关度矩阵F表达了从不同角度上动作单元对当前情绪的影响程度，为了计算该矩阵的特征用于情绪指数计算，首先对计算情绪相关度矩阵的协方差矩阵：其中，m＝17，为人脸动作单元个数；利用奇异值分解方法计算该协方差矩阵的特征值及特征向量，并选择最大特征值λ及对应的特征向量V；在特征向量和特征值计算基础上建立情绪指数h计算模型如下：其中，v_i表示特征向量的第i项值；计算得到的情绪指数h其取值区间在【‑1，1】；指数1表示愉快，指数‑1表示伤心，中间指数则按照表情从惊讶、厌恶、恐惧、愤怒的规律连续分布。