[发明专利]虚拟形象生成方法、装置、设备及存储介质在审
申请号: | 202110203806.0 | 申请日: | 2021-02-23 |
公开(公告)号: | CN113569614A | 公开(公告)日: | 2021-10-29 |
发明(设计)人: | 杨思骞;葛彦昊;李季檩;汪铖杰;黄飞跃 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06K9/00 | 分类号: | G06K9/00;G06K9/62;G06T13/40;A63F13/52;A63F13/55 |
代理公司: | 北京三高永信知识产权代理有限责任公司 11138 | 代理人: | 祝亚男 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 虚拟 形象 生成 方法 装置 设备 存储 介质 | ||
1.一种虚拟形象生成方法,其特征在于,所述方法包括:
获取目标人脸图像,所述目标人脸图像中包括目标人脸;
基于所述目标人脸图像和被选中的目标虚拟角色,生成初始虚拟形象;
获取所述目标人脸的细粒度属性信息,所述细粒度属性信息用于标识所述目标人脸的五官类别、发型类别或配件类别中至少一项;
基于所述细粒度属性信息,对所述初始虚拟形象的脸部区域进行细节调整,生成目标虚拟形象;其中,第二匹配度大于第一匹配度,所述第一匹配度是指所述初始虚拟形象的脸部区域与所述目标人脸的匹配度,所述第二匹配度是指所述目标虚拟形象的脸部区域与所述目标人脸的匹配度。
2.根据权利要求1所述的方法,其特征在于,所述获取所述目标人脸的细粒度属性信息,包括:
按照第一关键点数量,对所述目标人脸图像进行人脸关键点识别,得到所述目标人脸的稠密识别结果;
基于所述稠密识别结果,对所述目标人脸图像进行细粒度属性分析,得到所述目标人脸的细粒度属性信息。
3.根据权利要求2所述的方法,其特征在于,所述基于所述稠密识别结果,对所述目标人脸图像进行细粒度属性分析,包括:
基于所述稠密识别结果,对所述目标人脸图像进行局部剪裁,得到N个子区域,所述N个子区域包括所述目标人脸的五官区域、发型区域或配件区域中至少一项,N为正整数;
将所述N个子区域输入细粒度属性分类模型,所述细粒度属性分类模型为基于多任务分类的神经网络模型;
将所述细粒度属性分类模型的输出结果,作为所述目标人脸的细粒度属性信息。
4.根据权利要求1所述的方法,其特征在于,所述基于所述目标人脸图像和被选中的目标虚拟角色,生成初始虚拟形象,包括:
基于所述目标人脸图像,获取所述目标人脸的三维人脸参数;其中,所述三维人脸参数包括与所述目标人脸匹配的轮廓形状参数和五官形状参数;
从所述目标虚拟角色的脸部素材库中,确定与所述目标人脸匹配的脸部素材,基于确定的脸部素材对所述三维人脸参数进行渲染处理,生成所述初始虚拟形象。
5.根据权利要求4所述的方法,其特征在于,所述基于所述目标人脸图像,获取所述目标人脸的三维人脸参数,包括:
在所述目标人脸图像中获取所述目标人脸的三维脸部特征;
将所述三维脸部特征与目标比对库进行特征比对,得到所述目标人脸的三维人脸参数,所述目标比对库用于提供所述三维脸部特征与所述三维人脸参数之间的对应关系。
6.根据权利要求5所述的方法,其特征在于,所述在所述目标人脸图像中获取所述目标人脸的三维脸部特征,包括:
对所述目标人脸图像进行特征提取,得到所述目标人脸的二维脸部特征;
对所述目标人脸图像进行基本属性分析,得到所述目标人脸的基本属性信息,所述基本属性信息的分类精度小于所述细粒度属性信息的分类精度;
基于所述目标人脸图像对所述目标人脸进行三维重建,得到所述目标人脸的三维重建模型;
基于所述二维脸部特征、所述基本属性信息以及所述三维重建模型,获取所述目标人脸的中间特征,所述中间特征的特征维度大于预设阈值;
对所述中间特征进行加权融合,得到所述目标人脸的三维脸部特征。
7.根据权利要求2所述的方法,其特征在于,所述方法还包括:
按照第二关键点数量对所述目标人脸图像进行人脸关键点识别,得到所述目标人脸的五官比例参数,所述第二关键点数量小于所述第一关键点数量;
基于所述五官比例参数调整所述初始虚拟形象的五官比例。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述目标虚拟角色所处的虚拟场景风格,调整所述目标虚拟形象的脸部区域的画风。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110203806.0/1.html,转载请声明来源钻瓜专利网。