[发明专利]三维人脸模型的构建方法及装置、存储介质、终端有效
申请号: | 202111527295.4 | 申请日: | 2021-12-14 |
公开(公告)号: | CN114219920B | 公开(公告)日: | 2023-05-26 |
发明(设计)人: | 林炳坤;金师豪;柴金祥 | 申请(专利权)人: | 魔珐(上海)信息科技有限公司;上海墨舞科技有限公司 |
主分类号: | G06T17/20 | 分类号: | G06T17/20;G06V40/16;G06V10/74;G06V10/77 |
代理公司: | 北京品源专利代理有限公司 11332 | 代理人: | 侯军洋 |
地址: | 200233 上海市徐汇区宜*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 三维 模型 构建 方法 装置 存储 介质 终端 | ||
1.一种三维人脸模型的构建方法,其特征在于,包括:
获取演员的N组扫描数据,所述扫描数据用于记录所述演员的表情,N组扫描数据分别对应N个表情,N个表情至少包括中性表情,N为大于或等于2的整数;
根据所述N组扫描数据分别构建N个点云网格模型,N个点云网格模型至少包括所述中性表情对应的中性表情点云网格模型;
根据获取的初始人脸网格与所述中性表情点云网格模型生成中性表情人脸网格;
将获取到的基础表情网格模板进行组合,得到复合表情初始模板,其中,复合表情由至少两个基础表情组成,所述基础表情网格模板至少根据所述中性表情人脸网格得到;
针对各个其他表情,根据其他表情对应的其他表情点云网格模型、所述中性表情点云网格模型以及所述复合表情初始模板,得到复合表情网格,其他表情指N个表情中除中性表情之外的N-1个表情中的各个表情;
对所述复合表情网格进行表情拆分,得到所述演员的真实基础表情网格模板;
其中,所述根据获取的初始人脸网格与所述中性表情点云网格模型生成中性表情人脸网格,包括:
步骤一:对所述中性表情点云网格模型进行空间位置转换,将所述中性表情点云网格模型转换至与所述初始人脸网格同一空间位置;
步骤二:从所述初始人脸网格上选取面部正面的正面点,在所述中性表情点云网格模型上寻找所述正面点的最近邻点,并将寻找到的最近邻点作为第一最近邻匹配点;
步骤三:以空间位置转换后的中性表情点云网格模型为基准,约束所述初始人脸网格上的正面点与所述空间位置转换后的中性表情点云网格模型上的第一最近邻匹配点的距离满足第一距离范围,求解人脸主成分分析模型的权重;
步骤四:判断基于求解得到的人脸主成分分析模型的权重得到的初始人脸网格上的正面点与所述空间位置转换后的中性表情点云网格模型上的第一最近邻匹配点的距离是否满足收敛条件,若不满足,则继续迭代步骤一至步骤三,直至得到满足收敛条件的人脸主成分分析模型的权重;
步骤五:采用满足收敛条件时对应的人脸主成分分析模型的权重,计算得到所述中性表情人脸网格;
所述基础表情网格模板通过如下方式获取得到:
从预设的表情数据库中获取核心矩阵以及基础表情矩阵;
根据所述核心矩阵、所述基础表情矩阵以及所述中性表情人脸网格,计算得到所述基础表情网格模板。
2.如权利要求1所述的三维人脸模型的构建方法,其特征在于,所述初始人脸网格采用人脸主成分分析模型得到,所述人脸主成分分析模型根据多个预设中性表情人脸网格进行主成分分析构建得到。
3.如权利要求1所述的三维人脸模型的构建方法,其特征在于,所述采用满足收敛条件的人脸主成分分析模型的权重,计算得到所述中性表情人脸网格包括:
采用满足收敛条件的人脸主成分分析模型的权重,计算得到中间人脸网格;对所述中间人脸网格的设定区域的网格面进行变形,并根据满足第一约束条件的变形后的中间人脸网格得到所述中性表情人脸网格,其中,所述第一约束条件为:变形后的中间人脸网格上的第二特征匹配点与所述中性表情点云网格模型中的点云特征点的距离,与所述变形后的中间人脸网格上的正面点与中性表情点云网格模型中的第二最近邻匹配点的距离之和满足第二距离范围,且变形的网格面的变化矩阵与变形的网格面的相邻网格面的变化矩阵的差异满足第一差异范围,其中,所述第二最近邻匹配点为所述变形后的中间人脸网格上的正面点的最近邻点。
4.如权利要求3所述的三维人脸模型的构建方法,其特征在于,所述中间人脸网格中的变形的网格面的变化矩阵采用如下方式计算得到:
根据变形前的中间人脸网格的网格面的顶点坐标以及网格面的法向量,以及变形后的中间人脸网格的网格面的顶点坐标以及网格面的法向量,计算变形的网格面的变化矩阵。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于魔珐(上海)信息科技有限公司;上海墨舞科技有限公司,未经魔珐(上海)信息科技有限公司;上海墨舞科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111527295.4/1.html,转载请声明来源钻瓜专利网。