[发明专利]二维到三维人脸表情迁移方法、电子装置及存储介质在审

专利信息
申请号: 202210430797.3 申请日: 2022-04-22
公开(公告)号: CN114926581A 公开(公告)日: 2022-08-19
发明(设计)人: 白泽琛;陈辉;姚乃明;王宏安 申请(专利权)人: 中国科学院软件研究所
主分类号: G06T17/00 分类号: G06T17/00;G06V40/16;G06V10/82
代理公司: 北京君尚知识产权代理有限公司 11200 代理人: 邱晓锋
地址: 100190 *** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 二维 三维 表情 迁移 方法 电子 装置 存储 介质
【权利要求书】:

1.一种二维到三维人脸表情迁移方法,其特征在于,包括以下步骤:

获取真实交互场景下的二维人脸图像,作为源表情表示;获取虚拟交互场景下的三维人脸形变模型,作为目标三维人脸表情表示;

采用预先训练的人脸三维参数提取模型,对所述二维人脸图像进行人脸三维参数提取;所述人脸三维参数包括身份参数、表情参数、相机参数;

将所述二维人脸图像对应的所述表情参数输入一个预先训练的融合变形系数估计模型,获得融合变形系数;

将所述融合变形系数输入三维建模软件,驱动所述三维人脸形变模型,获得目标三维人脸表情表示,具有与所述二维人脸图像一致的表情。

2.如权利要求1所述的方法,其特征在于,所述三维人脸形变模型包括一组能够表达基本面部肌肉运动的融合变形表情基模型。

3.如权利要求1所述的方法,其特征在于,所述人脸三维参数提取模型是一种神经网络模型,采用如下方式训练得到:

采集真实样本训练集,所述真实样本训练集包含多张真实交互场景内的人脸图像;

获取三维重建渲染器,所述三维重建渲染器能够以可微分的方式基于三维参数进行三维重建、渲染、投影;

采用所述真实样本训练集和所述三维重建渲染器,训练得到所述人脸三维参数提取模型。

4.如权利要求3所述的方法,其特征在于,采用所述真实样本训练集和所述三维重建渲染器,训练得到所述人脸三维参数提取模型,包括:

将所述真实样本训练集中的多张真实人脸图像输入待训练的人脸三维参数提取模型,获得各人脸图像对应的人脸三维参数;

根据所述各人脸图像对应的人脸三维参数,进行三维重建,获得三维人脸重建结果;

根据所述三维人脸重建结果,获得对应二维人脸投影图像;

根据所述真实人脸图像、所述二维人脸投影图像、以及预设的损失函数,对所述人脸三维参数提取模型的神经网络参数进行迭代优化,得到所述人脸三维参数提取模型。

5.如权利要求1所述的方法,其特征在于,所述融合变形系数估计模型是一种神经网络模型,采用如下方式训练得到:

采集虚拟样本训练集,所述虚拟样本训练集包含多组部分随机生成的融合变形系数,以及与之对应的虚拟交互场景内的虚拟人脸图像与虚拟人脸表情参数;

采用所述虚拟样本训练集,训练得到所述融合变形系数估计模型。

6.如权利要求5所述的方法,其特征在于,所述虚拟样本训练集中所述多组部分随机生成的融合变形系数的获取方式包括:

完全随机生成多组融合变形系数;

根据人类生理学和肌肉运动的先验知识,制定形变规则库;

使用所述形变规则库,对所述完全随机生成的多组融合变形系数中不合理的融合变形系数进行过滤,获得所述多组部分随机生成的融合变形系数。

7.如权利要求5所述的方法,其特征在于,所述虚拟人脸图像与虚拟人脸表情参数的获取方式包括:

将所述部分随机生成的融合变形系数输入三维建模软件,驱动所述三维人脸形变模型,并使用三维建模软件的渲染功能,获得所述虚拟人脸图像;

将所述虚拟人脸图像输入所述预先训练的人脸三维参数提取模型,获得所述虚拟人脸表情参数。

8.如权利要求5所述的方法,其特征在于,采用所述虚拟样本训练集,训练得到所述融合变形系数估计模型,包括:

将所述虚拟人脸表情参数输入待训练的融合变形系数估计模型,获得预估的虚拟人脸融合变形系数;

根据所述部分随机生成的融合变形系数、所述预估的虚拟人脸融合变形系数、预设的损失函数,对所述待训练的融合变形系数估计模型的神经网络参数进行迭代优化,得到所述融合变形系数估计模型。

9.一种存储介质,所述存储介质中存储有计算机程序和数据,其中,所述计算机程序和数据被设置为运行时执行权利要求1-8中任一项所述的方法。

10.一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序和数据,所述处理器被设置为运行所述计算机程序和数据以执行如权利要求1-8中任一项所述的方法。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院软件研究所,未经中国科学院软件研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202210430797.3/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top