[发明专利]二维到三维人脸表情迁移方法、电子装置及存储介质在审
申请号: | 202210430797.3 | 申请日: | 2022-04-22 |
公开(公告)号: | CN114926581A | 公开(公告)日: | 2022-08-19 |
发明(设计)人: | 白泽琛;陈辉;姚乃明;王宏安 | 申请(专利权)人: | 中国科学院软件研究所 |
主分类号: | G06T17/00 | 分类号: | G06T17/00;G06V40/16;G06V10/82 |
代理公司: | 北京君尚知识产权代理有限公司 11200 | 代理人: | 邱晓锋 |
地址: | 100190 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 二维 三维 表情 迁移 方法 电子 装置 存储 介质 | ||
1.一种二维到三维人脸表情迁移方法,其特征在于,包括以下步骤:
获取真实交互场景下的二维人脸图像,作为源表情表示;获取虚拟交互场景下的三维人脸形变模型,作为目标三维人脸表情表示;
采用预先训练的人脸三维参数提取模型,对所述二维人脸图像进行人脸三维参数提取;所述人脸三维参数包括身份参数、表情参数、相机参数;
将所述二维人脸图像对应的所述表情参数输入一个预先训练的融合变形系数估计模型,获得融合变形系数;
将所述融合变形系数输入三维建模软件,驱动所述三维人脸形变模型,获得目标三维人脸表情表示,具有与所述二维人脸图像一致的表情。
2.如权利要求1所述的方法,其特征在于,所述三维人脸形变模型包括一组能够表达基本面部肌肉运动的融合变形表情基模型。
3.如权利要求1所述的方法,其特征在于,所述人脸三维参数提取模型是一种神经网络模型,采用如下方式训练得到:
采集真实样本训练集,所述真实样本训练集包含多张真实交互场景内的人脸图像;
获取三维重建渲染器,所述三维重建渲染器能够以可微分的方式基于三维参数进行三维重建、渲染、投影;
采用所述真实样本训练集和所述三维重建渲染器,训练得到所述人脸三维参数提取模型。
4.如权利要求3所述的方法,其特征在于,采用所述真实样本训练集和所述三维重建渲染器,训练得到所述人脸三维参数提取模型,包括:
将所述真实样本训练集中的多张真实人脸图像输入待训练的人脸三维参数提取模型,获得各人脸图像对应的人脸三维参数;
根据所述各人脸图像对应的人脸三维参数,进行三维重建,获得三维人脸重建结果;
根据所述三维人脸重建结果,获得对应二维人脸投影图像;
根据所述真实人脸图像、所述二维人脸投影图像、以及预设的损失函数,对所述人脸三维参数提取模型的神经网络参数进行迭代优化,得到所述人脸三维参数提取模型。
5.如权利要求1所述的方法,其特征在于,所述融合变形系数估计模型是一种神经网络模型,采用如下方式训练得到:
采集虚拟样本训练集,所述虚拟样本训练集包含多组部分随机生成的融合变形系数,以及与之对应的虚拟交互场景内的虚拟人脸图像与虚拟人脸表情参数;
采用所述虚拟样本训练集,训练得到所述融合变形系数估计模型。
6.如权利要求5所述的方法,其特征在于,所述虚拟样本训练集中所述多组部分随机生成的融合变形系数的获取方式包括:
完全随机生成多组融合变形系数;
根据人类生理学和肌肉运动的先验知识,制定形变规则库;
使用所述形变规则库,对所述完全随机生成的多组融合变形系数中不合理的融合变形系数进行过滤,获得所述多组部分随机生成的融合变形系数。
7.如权利要求5所述的方法,其特征在于,所述虚拟人脸图像与虚拟人脸表情参数的获取方式包括:
将所述部分随机生成的融合变形系数输入三维建模软件,驱动所述三维人脸形变模型,并使用三维建模软件的渲染功能,获得所述虚拟人脸图像;
将所述虚拟人脸图像输入所述预先训练的人脸三维参数提取模型,获得所述虚拟人脸表情参数。
8.如权利要求5所述的方法,其特征在于,采用所述虚拟样本训练集,训练得到所述融合变形系数估计模型,包括:
将所述虚拟人脸表情参数输入待训练的融合变形系数估计模型,获得预估的虚拟人脸融合变形系数;
根据所述部分随机生成的融合变形系数、所述预估的虚拟人脸融合变形系数、预设的损失函数,对所述待训练的融合变形系数估计模型的神经网络参数进行迭代优化,得到所述融合变形系数估计模型。
9.一种存储介质,所述存储介质中存储有计算机程序和数据,其中,所述计算机程序和数据被设置为运行时执行权利要求1-8中任一项所述的方法。
10.一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序和数据,所述处理器被设置为运行所述计算机程序和数据以执行如权利要求1-8中任一项所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院软件研究所,未经中国科学院软件研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210430797.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种信道估计方法及装置
- 下一篇:一种两段式泵体及其真空泵