[发明专利]一种三维重建方法、装置、设备和存储介质有效
申请号: | 201810679293.9 | 申请日: | 2018-06-27 |
公开(公告)号: | CN108898630B | 公开(公告)日: | 2020-12-15 |
发明(设计)人: | 方璐;韩磊 | 申请(专利权)人: | 清华-伯克利深圳学院筹备办公室 |
主分类号: | G06T7/70 | 分类号: | G06T7/70;G06T17/10;G06T17/20 |
代理公司: | 北京品源专利代理有限公司 11332 | 代理人: | 潘登 |
地址: | 518055 广东省深*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 三维重建 方法 装置 设备 存储 介质 | ||
1.一种三维重建方法,其特征在于,包括:
利用预设快速全局优化算法,确定当前深度图像关键帧相对预设深度图像关键帧的相对相机位姿;
将所述当前深度图像关键帧按照预设网格体素单位划分为多个网格体素,并将所述多个网格体素划分为至少一个空间块,所述空间块包括预设数目的网格体素;
利用稀疏采样条件,在所述至少一个空间块中筛选出所述当前深度图像关键帧对应的至少一个有效空间块,所述有效空间块位于由目标场景表面与距离目标场景表面预设距离的面所构成的空间内部;
基于所述相对相机位姿,将所述至少一个有效空间块与前一帧深度图像关键帧相对应的第一三维网格模型进行融合,得到与当前深度图像关键帧相对应的第二三维网格模型;
利用加速移动立方体算法生成所述第二三维网格模型的等值面,得到目标场景的三维重建模型。
2.根据权利要求1所述的方法,其特征在于,所述利用预设快速全局优化算法,确定当前深度图像关键帧相对预设深度图像关键帧的相机位姿,包括:
对所述当前深度图像关键帧进行特征提取,得到所述当前深度图像关键帧的至少十个特征点;
将所述至少一个特征点与预先获取的所述预设深度图像关键帧的至少五个特征点进行匹配运算,得到当前深度图像关键帧与所述预设深度图像关键帧间的特征点对应关系;
移除所述特征点对应关系中的异常对应关系,通过包含剩余特征点二阶统计量的线性成分以及包含相对相机位姿的非线性成分计算J(ξ)T J(ξ)中的非线性项对δ=-(J(ξ)T J(ξ))-1 J(ξ)Tr(ξ)进行多次迭代计算,求解重投影误差小于预设误差阈值时的相对相机位姿;
其中,r(ξ)表示包含所有重投影误差的向量,J(ξ)为r(ξ)的雅克比矩阵,ξ表示相对相机位姿的李代数,δ表示每次迭代时r(ξ)的增量值;Ri表示采集第i帧图像时相机的旋转矩阵;Rj表示采集第j帧图像时相机的旋转矩阵;表示第i帧图像上的第k个特征点;表示第j帧图像上的第k个特征点;Ci,j表示第i帧图像与第j帧图像的特征点对应关系的集合;||Ci,j||-1表示第i帧图像与第j帧图像的特征点对应关系的数量;[]×表示向量积;||Ci,j||表示取Ci,j的范数。
3.根据权利要求2所述的方法,其特征在于,所述非线性项的表达式为:
其中,表示线性成分;和rjl表示非线性成分,是旋转矩阵Ri中的第l行,rjl是旋转矩阵Rj中的第l行的转置,l=0,1,2。
4.根据权利要求1所述的方法,其特征在于,所述利用稀疏采样条件,在所述至少一个空间块中筛选出所述当前深度图像关键帧对应的至少一个有效空间块,包括:
针对每个所述空间块,根据所述相对相机位姿与所述当前深度图像关键帧中的深度值,分别计算各顶点对应的网格体素到所述目标场景表面的距离;
选取各顶点对应的网格体素到所述目标场景表面的距离均小于所述预设距离的空间块,并将选取出的各空间块作为所述当前深度图像关键帧对应的有效空间块;
确定并存储所述有效空间块中各网格体素对应的各权重值以及所述各网格体素到所述目标场景表面的各距离值,其中,所述各权重值为所述各网格体素在所述当前深度图像关键帧以及历史深度图像关键帧中出现的次数总和。
5.根据权利要求1所述的方法,其特征在于,所述基于所述相对相机位姿,将所述至少一个有效空间块与所述前一帧深度图像关键帧相对应的第一三维网格模型进行融合,得到与当前深度图像关键帧相对应的第二三维网格模型,包括:
基于所述相对相机位姿中的相对旋转矩阵和相对平移矩阵,将所述至少一个有效空间块与所述前一帧深度图像关键帧相对应的第一三维网格模型进行融合,得到与当前深度图像关键帧相对应的第二三维网格模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华-伯克利深圳学院筹备办公室,未经清华-伯克利深圳学院筹备办公室许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810679293.9/1.html,转载请声明来源钻瓜专利网。