[发明专利]一种人脸表情捕捉方法、装置、存储介质及终端

说明书

本发明公开了一种人脸表情捕捉方法、装置、存储介质及终端，方法包括：获取待识别人脸图像并提取待识别人脸图像的目标隐式编码；将待识别人脸图像与目标隐式编码输入预先训练的人脸表情捕捉模型中，输出待识别人脸图像对应的人脸表情信息；其中，人脸表情信息是根据人脸表情特征生成的，人脸表情特征是将提取的多种特征进行融合后生成的。由于本申请通过提取多种特征融合成新特征进行模型训练，可以有效提升模型对人脸表情信息的捕捉精度。

技术领域

本发明涉及机器视觉技术领域，特别涉及一种人脸表情捕捉方法、装置、存储介质及终端。

背景技术

表情是情绪和情感的外部表现，按基本情绪模型可将表情分为六类：生气、厌恶、恐惧、高兴、悲伤、惊讶。人脸表情识别一直以来都具非常重要的研究意义，在人机交互、公共安全、智能影视等多个领域有着巨大的市场价值。随着机器学习的不断发展，研发人员渴望提升人脸表情信息的捕捉精度。

在现有技术方案中，有利用人脸2d/3d关键点做驱动的，但因为人脸在整个图像中的占比较小,且因为运动模糊,遮挡等问题很常见,导致关键点检测的准确度和稳定度有限。有对人脸进行建模然后通过深度学习回归表情参数的，但因为建模精度不够，表情特征空间覆盖有限，导致存在着表情不准确，表情程度不够的问题，同时在各种自然场景下的稳定性，从而降低了人脸表情信息的捕捉精度。

发明内容

本申请实施例提供了一种人脸表情捕捉方法、装置、存储介质及终端。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

第一方面，本申请实施例提供了一种人脸表情捕捉方法，方法包括：

获取待识别人脸图像并提取待识别人脸图像的目标隐式编码；

将待识别人脸图像与目标隐式编码输入预先训练的人脸表情捕捉模型中，输出待识别人脸图像对应的人脸表情信息；其中，

人脸表情信息是根据人脸表情特征生成的，人脸表情特征是将提取的多种特征进行融合后生成的。

可选的，获取待识别人脸图像并提取待识别人脸图像的目标隐式编码，包括：

获取待识别人脸图像；

采用元学习器在预先生成的随机隐式编码矩阵中提取待识别人脸图像的目标隐式编码。

可选的，按照以下步骤得到预先生成的随机隐式编码矩阵，包括：

采集人脸表情数据；

计算人脸表情数据的先验分布；

根据先验分布构建随机隐式编码矩阵。

可选的，预先训练的人脸表情捕捉模型包括通用特征提取模块、身份ID提取模块、表情提取模块、表情优化模块、头部姿态提取模块以及融合模块；

将待识别人脸图像与目标隐式编码输入预先训练的人脸表情捕捉模型中，输出待识别人脸图像对应的人脸表情信息，包括：

将待识别人脸图像输入通用特征提取模块中，输出待识别人脸图像的特征空间；

采用目标隐式编码以及身份ID提取模块从特征空间中提取待识别人脸图像对应的身份ID特征；

采用表情提取模块以及表情优化模块从特征空间中提取待识别人脸图像对应的最终表情特征；

采用头部姿态提取模块从特征空间中提取待识别人脸图像对应的头部姿态特征；

将身份ID特征、最终表情特征以及头部姿态特征输入融合模块中进行特征融合，输出待识别人脸图像对应的人脸表情特征；