[发明专利]对象渲染方法、装置、电子设备及存储介质在审
申请号: | 202210360321.7 | 申请日: | 2022-04-06 |
公开(公告)号: | CN114693853A | 公开(公告)日: | 2022-07-01 |
发明(设计)人: | 林君仪;程巍;吴文岩;徐速;朴镜潭;钱晨;李鸿升 | 申请(专利权)人: | 商汤集团有限公司 |
主分类号: | G06T15/00 | 分类号: | G06T15/00;G06T17/00 |
代理公司: | 北京中知恒瑞知识产权代理事务所(普通合伙) 11889 | 代理人: | 袁忠林 |
地址: | 中国香港新界沙田香港科学园科技*** | 国省代码: | 香港;81 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 对象 渲染 方法 装置 电子设备 存储 介质 | ||
1.一种对象渲染方法,其特征在于,包括:
获取待渲染对象对应的参数化模型;所述参数化模型由预先获取的多个原始图像构建得到;所述多个原始图像为在不同源视角下分别采集的所述待渲染对象的图像;
基于目标视角,从所述参数化模型对应的三维空间中确定多个空间点,并针对每个所述空间点,基于所述空间点的位置信息、所述参数化模型和所述多个原始图像,生成所述空间点对应的、与每个所述源视角匹配的目标特征向量;所述目标特征向量包括空间点在对应源视角下的视觉特征;
基于所述空间点对应的多个所述目标特征向量、和所述空间点在每个所述原始图像上投影点的候选色彩信息,生成所述空间点对应的体密度和目标色彩信息;
基于各个所述空间点分别对应的所述体密度和所述目标色彩信息,生成所述待渲染对象在所述目标视角下的渲染图像。
2.根据权利要求1所述的方法,其特征在于,所述基于所述空间点的位置信息、所述参数化模型和所述多个原始图像,生成所述空间点对应的、与每个所述源视角匹配的目标特征向量,包括:
基于所述空间点的位置信息和所述参数化模型,生成所述空间点对应的第一特征向量;以及
针对每个所述源视角,基于所述空间点的位置信息和所述源视角对应的原始图像,生成所述源视角对应的第二特征向量;其中,所述第一特征向量用于表征所述空间点与所述参数化模型之间的隐式几何特征;所述第二特征向量用于表征所述空间点在所述源视角对应的原始图像上的视觉特征;
基于所述第一特征向量、各个所述源视角对应的所述第二特征向量、所述空间点的位置信息和所述目标视角对应的方向向量中的至少一种,生成所述空间点对应的、与每个所述源视角匹配的目标特征向量。
3.根据权利要求2所述的方法,其特征在于,所述基于所述空间点的位置信息和所述参数化模型,生成所述空间点对应的第一特征向量,包括:
基于所述空间点的位置信息,确定所述参数化模型上与所述空间点之间的距离最小的目标模型点;
基于所述空间点的位置信息和所述目标模型点的位置信息,确定所述空间点相对于所述参数化模型的距离信息和方向信息;
基于所述参数化模型上第一模型点、与规范模型上第二模型点之间的映射关系,确定所述目标模型点对应的第二模型点的位置信息;
基于所述距离信息、所述方向信息和所述第二模型点的位置信息中的至少一种,生成所述空间点对应的第一特征向量。
4.根据权利要求2或3所述的方法,其特征在于,所述基于所述空间点的位置信息和所述源视角对应的原始图像,生成所述源视角对应的第二特征向量,包括:
对所述源视角对应的原始图像进行特征提取,生成所述原始图像对应的视觉特征图;
基于所述空间点的位置信息和所述原始图像对应的相机参数信息,确定所述视觉特征图上所述空间点对应的目标特征点的特征信息;
基于所述目标特征点的特征信息,生成所述源视角对应的第二特征向量。
5.根据权利要求1-4任一所述的方法,其特征在于,所述基于所述空间点对应的多个所述目标特征向量、和所述空间点在每个所述原始图像上投影点的候选色彩信息,生成所述空间点对应的体密度和目标色彩信息,包括:
对多个所述目标特征向量分别进行特征提取,生成每个所述源视角对应的中间特征数据;
基于各个所述源视角对应的所述中间特征数据,生成所述空间点对应的所述体密度和预测色彩信息;
基于所述预测色彩信息、和所述空间点在每个所述原始图像上投影点的候选色彩信息,生成所述空间点对应的所述目标色彩信息。
6.根据权利要求5所述的方法,其特征在于,所述基于所述预测色彩信息、和所述空间点在每个所述原始图像上投影点的候选色彩信息,生成所述空间点对应的所述目标色彩信息,包括:
确定所述预测色彩信息和多个所述候选色彩信息分别对应的混合参数;其中,所述混合参数包括:表征所述空间点在对应源视角下的可见性的第一参数,和/或,表征色彩信息权重的第二参数;
按照所述混合参数,将所述预测色彩信息和多个所述候选色彩信息进行混合处理,生成所述空间点对应的所述目标色彩信息。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于商汤集团有限公司,未经商汤集团有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210360321.7/1.html,转载请声明来源钻瓜专利网。