[发明专利]三维模型生成方法、装置、计算机设备及存储介质在审
申请号: | 202010418882.9 | 申请日: | 2020-05-18 |
公开(公告)号: | CN111598111A | 公开(公告)日: | 2020-08-28 |
发明(设计)人: | 曾望;欧阳万里;罗平;刘文韬;王晓刚 | 申请(专利权)人: | 商汤集团有限公司 |
主分类号: | G06K9/46 | 分类号: | G06K9/46;G06K9/00;G06K9/62;G06N3/04;G06T17/00;G06T17/20 |
代理公司: | 北京中知法苑知识产权代理有限公司 11226 | 代理人: | 李明;赵吉阳 |
地址: | 中国香港新界沙田香港科学园科技*** | 国省代码: | 香港;81 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 三维 模型 生成 方法 装置 计算机 设备 存储 介质 | ||
本公开提供了一种三维模型生成方法、装置、计算机设备及存储介质,包括:基于预先训练好的第一神经网络,确定待处理图像的全局特征向量、局部特征图以及语义特征图,语义特征图中任一第一特征点的特征值包括第一特征点在语义空间中的语义坐标;基于语义特征图中的第一特征点,将局部特征图中与第一特征点对应的第二特征点转换到语义空间中,形成语义特征点,语义特征点构成语义局部特征图;基于语义局部特征图、全局特征向量、以及预先训练好的第二神经网络,生成待处理图像对应的位置图;位置图中包括待处理图像中的目标对象的各个位置点的语义坐标和三维位置坐标;基于位置图,生成目标对象对应的三维模型。
技术领域
本公开涉及计算机技术领域,具体而言,涉及三维模型生成方法、装置、计算机设备及存储介质。
背景技术
随着计算机视觉以及人机交互领域的发展,人体三维模型发挥了越来越重要的作用,通过生成人体三维模型,可以实现人体动作识别、人机交互等。
相关技术中,在生成三维人体模型时,一般依赖于现有的三维模板人体模型,通过预测神经网络模型中的模型参数,在预设的三维模板人体模型的基础上生成出目标对象的三维人体模型。然而由于预设的三维模板人体模型的表达能力有限,在生成目标对象的三维人体模型时,精度有限。例如,若某个人的身材异于常人的身材,由于现有的三维模板人体模型的表达能力有限,则生成出的这个人的三维人体模型的精度会受到影响。
发明内容
本公开实施例至少提供一种三维模型生成方法、装置、计算机设备及存储介质。
第一方面,本公开实施例提供了一种三维模型生成方法,包括:
基于预先训练好的第一神经网络,确定待处理图像的全局特征向量、局部特征图以及语义特征图,所述语义特征图中任一第一特征点的特征值包括所述第一特征点在语义空间中的语义坐标;
基于所述语义特征图中的第一特征点,将所述局部特征图中与所述第一特征点对应的第二特征点转换到语义空间中,形成语义特征点,所述语义特征点构成语义局部特征图;
基于所述语义局部特征图、所述全局特征向量、以及预先训练好的第二神经网络,生成所述待处理图像对应的位置图;所述位置图中包括所述待处理图像中的目标对象的各个位置点的语义坐标和三维位置坐标;
基于所述位置图,生成所述目标对象对应的三维模型。
本公开所提供的方法,由于在生成三维模型时,是通过预测位置图的方式,位置图中包括目标对象的各个位置点的三维位置坐标,在预测出位置图之后,可以根据预测的位置图生成目标对象对应的三维模型,因此,本公开所提供的方法可以不受预设的三维模型的表达能力的约束,生成的三维模型的精度更高。
一种可能的实施方式中,所述第一特征点的语义坐标包括该第一特征点在所述语义空间中不同坐标方向上的坐标值;所述第一特征点的特征值还包括该第一特征点属于所述目标对象的概率。
一种可能的实施方式中,所述基于预先训练好的第一神经网络,确定所述待处理图像的全局特征向量、局部特征图以及语义特征图,包括:对所述待处理图像进行下采样处理,得到中间特征图;基于所述中间特征图,确定所述全局特征向量和所述局部特征图;对所述局部特征图进行特征提取,得到所述语义特征图。
一种可能的实施方式中,基于所述中间特征图,确定所述全局特征向量和所述局部特征图,包括:对所述中间特征图进行池化处理和全连接处理,得到所述待处理图像对应的所述全局特征向量;以及,对所述中间特征图进行上采样处理,得到所述待处理图像对应的局部特征图。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于商汤集团有限公司,未经商汤集团有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010418882.9/2.html,转载请声明来源钻瓜专利网。