[发明专利]人脸表情合成方法、装置、存储介质和计算机设备

说明书

技术领域

本发明涉及计算机视觉和计算机图形学技术领域，特别是涉及一种人脸表 情合成方法、装置、存储介质和计算机设备。

背景技术

近年来，一些研究者提出了“表情转移”技术，即捕捉视频中人脸表情后将其 转移予虚拟形象以完成动画制作。这些工作实现了虚拟人物的仿真化，赋予了 动画角色更加丰富生动的表情，有效地增添了动画作品的趣味性，提高了视觉 效果的真实感。而Thies J与他的同事们则走得更远一步，提出了在不同的真人 个体间进行表情转移，其工作内容是：同时获取两个视频，源视频与目标视频， 首先捕捉源视频中的人物表情，然后将该表情重现在目标视频中另一个人物的 脸上，达到操控目标人物表情的效果。该项技术可以被应用在视频会议、译制 片等场景中，将翻译人员的表情转移到说话者的脸上，可以使得嘴型神态与发 音更好地匹配，从而带来更加自然舒适的观感体验。但是传统的表情转移方法 并不能处理源视频与目标视频中人物姿态不同时的表情转移。

发明内容

基于此，有必要针对上述技术问题，提供一种人脸表情合成方法、装置、 存储介质和计算机设备。

一种人脸表情合成方法，所述方法包括：

获取源视频和目标视频中的图像，所述源视频中的图像包含待合成至所述 目标视频中的图像的表情；

对所述图像中的人脸进行人脸特征点定位；

对经过人脸特征点定位后的所述图像进行3D人脸建模，得到3D人脸模型；

在所述3D人脸模型的形状层面，将所述源视频中图像的表情对应转移至所 述目标视频中的图像，生成表情转移后的目标视频中的图像的3D人脸模型；

对所述转移后的3D人脸模型进行纹理贴图，得到表情转移后的合成脸模 型。

在其中一个实施例中，所述对所述图像中的人脸进行人脸特征点定位，包 括：

通过Haar分类器进行人脸检测，获得人脸的矩形标记框，所述Haar分类器 包含级联的多个强分类器，所述强分类器是由弱分类器组合构成的；

对所述矩形标记框中的人脸进行人脸特征点定位。

在其中一个实施例中，所述对所述矩形标记框中的人脸进行人脸特征点定 位，包括：

从训练模型中得到人脸的平均特征点位置；

将所述平均特征点位置进行等比放缩，将等比放缩后得到的特征点位置放 置于所述矩形标记框中；

对所述特征点位置进行优化，得到优化后的特征点位置，所述优化后的特 征点位置能够与所述矩形标记框中的人脸吻合。

在其中一个实施例中，所述对经过人脸特征点定位后的所述图像进行人脸 建模，得到人脸模型，包括：

将经过人脸特征点定位后的所述图像通过SFM模型进行模型拟合，得到人 脸模型。

在其中一个实施例中，所述将经过人脸特征点定位后的所述图像通过SFM 模型进行模型拟合得到人脸模型，包括：

采用黄金标准算法计算得到投影矩阵；

获取SFM模型中的初始化网格，所述初始化网格为无表情的平均脸；

根据所述初始化网格中的特征点与人脸特征点定位后的所述图像中的点进 行匹配，对所述投影矩阵进行更新；

根据所述无表情的平均脸、人脸特征点定位后的所述图像计算得到表情系 数及形状系数；

根据所述相机矩阵、所述表情系数及所述形状系数对人脸特征点定位后的 图像进行建模，得到整个人脸的人脸网格。

一种人脸表情合成装置，所述装置包括：

获取图像模块，用于获取源视频和目标视频中的图像，所述源视频中的图 像包含待合成至所述目标视频中的图像的表情；

人脸特征点定位模块，用于对所述图像中的人脸进行人脸特征点定位；

人脸建模模块，用于对经过人脸特征点定位后的所述图像进行3D人脸建 模，得到3D人脸模型；

表情转移模块，用于在所述3D人脸模型的形状层面，将所述源视频中图像 的表情对应转移至所述目标视频中的图像，生成表情转移后的目标视频中的图 像的3D人脸模型；

纹理贴图模块，用于对所述转移后的3D人脸模型进行纹理贴图，得到表情 转移后的合成脸模型。

在其中一个实施例中，所述人脸特征点定位模块包括：

人脸检测模块，用于通过Haar分类器进行人脸检测，获得人脸的矩形标记 框，所述Haar分类器包含级联的多个强分类器，所述强分类器是由弱分类器组 合构成的；

定位模块，用于对所述矩形标记框中的人脸进行人脸特征点定位。