[发明专利]一种面部AU关键点检测的方法、装置和电子设备

说明书

本发明公开了一种面部AU关键点检测的方法、装置和电子设备，属于图像识别领域，所述方法包括：根据多个面部肌肉关键点将人脸区域划分为多个感兴趣区域ROI，将各个AU关键点区域各自对应的多个ROI最小外接矩形分别进行并集得到对应最小外接矩形区域Iu，进行交集得到对应最小外接矩形区域In；对人脸图像进行特征提取得到特征图f，将基于f确定的和进行信道拼接得到fc；将fc输入对应的训练好的面部AU识别模型使其输出对应的AU关键点区域及其置信度；将AU关键点区域对应Iu和In进行回归迭代得到最佳AU关键点区域。本发明通过不断迭代训练最终得到最佳AU关键点区域，能够有效检测AU关键点。

技术领域

本发明属于图像识别领域，更具体地，涉及一种面部AU关键点检测的方法、装置和电子设备。

背景技术

人类的面部表情是由面部肌肉的运动来体现的。美国心理学家艾克曼教授在20世纪60年代发布了面部运动编码系统（Facial Action Coding System，FACS），对AU的定义独立于其它假设和解释，仅依靠解剖学上肌肉分布与运动特征，而不是根据特定面部表情的假设，为面部表情提供了更客观、更细粒度的描述，对于面部表情的分析更为直观并且更具有可解释性。

FACS定义了人类面部的几十组运动单元（Action Unit，AU），每组AU由一块或多块肌肉的运动组成。FACS对每种AU定义了A到E五个级别的强度，各种AU之间自由组合，理论上人脸可以表达一万多种表情。AU和面部表情的联系十分紧密，可将表情分解为不同AU的组合，剖析人脸表情在面部的表象，把表情分解成具体的面部肌肉的运动，也即AU运动，并且给出了识别和衡量表情的方法与基准。相对于通过人类语言的表情标签方式主观表达表情，可以通过一系列固定的人脸参数表示表情和人脸的行为。使用AU检测的方式表达面部表情框架，可以避免因为观测者不同引入标注的歧义性。

现有大部分方法都是通过全脸特征检测的方式完成面部AU的识别，然而面部AU表达的是面部局部肌肉的运动，全脸特征检测的方式可能会导致使用嘴部特征完成眼部的AU识别从而导致AU检测不准确。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种面部AU关键点检测的方法、装置和电子设备，其目的在于根据多个面部肌肉关键点将人脸区域划分为多个感兴趣区域ROI，再基于多个ROI组对应的最小外接矩形Iu和In获得人脸图像对应的特征图fc；最后将特征图fc输入训练好的面部AU识别模型中得到AU关键点区域，并对AU关键点区域对应Iu和In进行回归迭代，得到最佳AU关键点区域；由此解决AU检测不准确的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种面部AU关键点检测的方法，包括：S1：根据多个面部肌肉关键点将已完成人脸矫正的人脸区域划分为多个感兴趣区域ROI，多个感兴趣区域ROI对应多个ROI组，每个所述ROI组对应一个AU关键点区域；将各个所述AU关键点区域各自对应的多个ROI最小外接矩形进行并集以获得其最小外接矩形区域Iu；将各个所述AU关键点区域各自对应的多个ROI最小外接矩形进行交集以获得其最小外接矩形区域In；S2：对人脸图像进行特征提取得到特征图f，从所述特征图f中确定出Iu对应的特征图fu和In对应的特征图fn；将所述特征图fu进行下采样得到特征图，将所述特征图fn进行上采样得到特征图，将所述特征图和所述特征图进行信道拼接得到特征图fc；S3：将所述特征图fc输入对应的训练好的面部AU识别模型中，使其输出对应的AU关键点区域及其置信度；将所述AU关键点区域对应Iu和In进行回归迭代直至Iu=In，从而得到最佳AU关键点区域。

在其中一个实施例中，所述S3包括：S31：将所述特征图fc输入对应的训练好的面部AU识别模型中，使其输出对应的AU关键点区域及其置信度；其中，AU关键点区域为最高置信度对应的区域；S32：对各个所述AU关键点区域对应的Iu和In进行回归迭代直至Iu=In，从而获取所述AU关键点区域到最接近于真实AU关键点区域的映射关系，进而得到最佳AU关键点区域，所述最佳AU关键点区域用于表征最接近于真实AU关键点区域。