[发明专利]模型获取方法、装置、电子设备及存储介质在审
申请号: | 202110304083.3 | 申请日: | 2021-03-22 |
公开(公告)号: | CN113112402A | 公开(公告)日: | 2021-07-13 |
发明(设计)人: | 陈海波;李亦超 | 申请(专利权)人: | 深兰科技(上海)有限公司 |
主分类号: | G06T3/40 | 分类号: | G06T3/40;G06T7/70;G06K9/32;G06N3/04 |
代理公司: | 苏州领跃知识产权代理有限公司 32370 | 代理人: | 王宁 |
地址: | 200336 上海市长宁区威*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 模型 获取 方法 装置 电子设备 存储 介质 | ||
1.一种模型获取方法,其特征在于,所述方法包括:
获取目标图像;
对所述目标图像进行第一次下采样,获取分辨率低于所述目标图像的第一采样图像,对所述第一采样图像进行特征提取得到低分辨率特征,对所述低分辨率特征进行3D点位预测得到3D特征;
对所述目标图像进行特征提取得到高分辨率特征;
将所述高分辨率特征嵌入所述3D特征,得到所述目标图像的3D模型。
2.根据权利要求1所述的模型获取方法,其特征在于,所述对所述第一采样图像进行特征提取得到低分辨率特征,包括:
将所述第一采样图像输入VGG-16网络进行特征提取,得到所述低分辨率特征;
所述对所述低分辨率特征进行3D点位预测得到3D特征,包括:
将所述低分辨率特征输入图残差网络进行3D点位预测,得到所述3D特征。
3.根据权利要求2所述的模型获取方法,其特征在于,所述将所述第一采样图像输入VGG-16网络进行特征提取,得到所述低分辨率特征,包括:
获取所述目标图像的至少两个姿态的法向图;
将所述第一采样图像和所述目标图像的至少两个姿态的法向图输入VGG-16网络进行特征提取,得到所述低分辨率特征。
4.根据权利要求2所述的模型获取方法,其特征在于,所述将所述低分辨率特征输入图残差网络进行3D点位预测,得到所述3D特征,包括:
针对所述低分辨率特征中的每个像素点执行以下处理:
利用perceptual feature pooling层,根据所述像素点的上一时刻的三维顶点坐标从所述低分辨率特征中提取得到提取顶点特征;
对所述提取顶点特征与所述像素点的上一时刻的三维顶点特征进行融合,并将融合结果输入所述图残差网络,得到所述像素点的当前时刻的三维顶点坐标和三维顶点特征。
5.根据权利要求4所述的模型获取方法,其特征在于,
所述利用perceptual feature pooling层,根据所述像素点的上一时刻的三维顶点坐标从所述低分辨率特征中提取得到提取顶点特征,包括:
利用perceptual feature pooling层,根据所述像素点的上一时刻的三维顶点坐标映射回所述低分辨率特征中的2D坐标点,取所述2D坐标点边上最近的四个点进行双线性插值,得到所述提取顶点特征。
6.根据权利要求1所述的模型获取方法,其特征在于,所述对所述目标图像进行特征提取得到高分辨率特征,包括:
对所述目标图像进行第二次下采样,获取分辨率低于所述目标图像的第二采样图像,对所述第二采样图像进行特征提取得到所述高分辨率特征,所述第二采样图像的分辨率高于所述第一采样图像。
7.根据权利要求1所述的模型获取方法,其特征在于,所述对所述目标图像进行特征提取得到高分辨率特征,包括:
将所述目标图像输入用于像素对齐的Fine模块进行特征提取,得到所述高分辨率特征。
8.根据权利要求7所述的模型获取方法,其特征在于,所述将所述目标图像输入用于像素对齐的Fine模块进行特征提取,得到所述高分辨率特征,包括:
获取所述目标图像的至少两个姿态的法向图;
将所述目标图像和所述目标图像的至少两个姿态的法向图输入用于像素对齐的Fine模块进行特征提取,得到所述高分辨率特征。
9.根据权利要求1所述的模型获取方法,其特征在于,对所述目标图像进行第一次下采样的步骤和对所述目标图像进行特征提取得到高分辨率特征的步骤是同时进行的。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深兰科技(上海)有限公司,未经深兰科技(上海)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110304083.3/1.html,转载请声明来源钻瓜专利网。