[发明专利]一种基于单个深度视觉传感器的室内场景三维重建方法有效

专利信息
申请号: 201510594687.0 申请日: 2015-09-18
公开(公告)号: CN105205858B 公开(公告)日: 2018-04-13
发明(设计)人: 汪日伟;鲍红茹;温显斌;张桦;陈霞 申请(专利权)人: 天津理工大学
主分类号: G06T17/00 分类号: G06T17/00;G06T7/00
代理公司: 天津盛理知识产权代理有限公司12209 代理人: 王利文
地址: 300384 天津市西青*** 国省代码: 天津;12
权利要求书: 查看更多 说明书: 查看更多
摘要: 发明涉及一种基于单个深度视觉传感器的室内场景三维重建方法,其技术特点是包括以下步骤步骤1、使用单个深度视觉传感器连续扫描整个室内场景;步骤2、对采集到的深度数据进行去噪、孔洞修补等预处理,得到平滑的深度数据;步骤3、根据步骤2中采集到的深度数据,计算当前深度帧所对应的点云数据;步骤4、对不同视角深度帧得到的点云进行配准,得到室内场景的完整点云;步骤5、进行平面拟合,实现特殊点云的分割,建立室内场景中每一个物体的独立完整的三维模型。本发明所用的扫描设备简单;扫描的数据信息全面且有效提高了点云配准精度计算效率;最终能够为室内场景建立一个有几何结构和颜色贴图的完整高质量的三维模型集合。
搜索关键词: 一种 基于 单个 深度 视觉 传感器 室内 场景 三维重建 方法
【主权项】:
一种基于单个深度视觉传感器的室内场景三维重建方法,其特征在于包括以下步骤:步骤1、对彩色相机和深度相机进行联合标定,求解出深度相机和彩色相机的内参矩阵K和外参数;利用单个深度视觉传感器设备多角度采集室内场景的深度数据和RGB数据;步骤2、对采集到的深度数据和RGB数据进行去噪处理,利用孔洞周围的深度值对孔洞进行填充,得到平滑的深度数据;步骤3、利用步骤1中计算得出的内参矩阵K,将步骤2中得到的深度数据转换为相应的三维点云数据;步骤4、对步骤2中得到的不同视角的RGB图像进行匹配计算,并根据匹配得到的结果,对步骤3中得到的不同视角的点云进行配准,建立室内场景的点云模型;步骤5、对步骤4中得到的点云模型进行平面拟合,提取地面、桌面和墙壁的标志性的平面类模型,从而实现将其对应的点云从步骤4中得到的场景模型中分割出来,建立场景中每个物体的独立完整的三维模型;所述步骤1的具体步骤包括:步骤1.1、提取彩色相机和深度相机拍摄的标定棋盘图像上的角点为校准点,进行相机校准,求解出深度相机和彩色相机的内参矩阵K和外参数;步骤1.2、对同一时刻得到的RGB数据和深度数据进行配准,并求解得到深度数据与RGB数据的对齐变换矩阵;步骤1.3、利用单个深度视觉传感器摄像头对室内场景进行扫描,采集室内物体表面RGB数据和深度数据,使其扫描范围覆盖到室内场景中的每个物体的完整表面;所述步骤1.2的具体步骤包括:(1)分别定义彩色相机和深度相机的三个平面:和其中代表彩色相机的第i个平面,代表深度相机的第i个平面,nci是平面的法向,ndi是平面的法向,c代表彩色相机,d代表深度相机;深度数据和RGB数据之间的对齐变换矩阵为在投影空间中,根据旋转矩阵M′、投影比例S′将点映射成其中,λi是未知的比例因子,R′是旋转矩阵,t′是平移量,I3是一个3*3的单位矩阵,M′是旋转矩阵,S′是投影比例;将nci,ndi标准化成将上述公式重新定义为:每一对和有一个平移量的线性约束t′=L‑1g,其中L,g分别是为便于计算自定义的矩阵,且L=nd1Tnd1nc1Tnd2Tnd2nc2Tnd3Tnd3nc3TR′T,g=nd1Tnd1-nd1TR′nc1nd2Tnd2-nd2TR′nc2nd3Tnd3-nd3TR′nc3]]>其中,nd1,nd2,nd3分别是深度相机的第一个平面、第二个平面、第三个平面的法向,nc1,nc2,nc3分别是彩色相机的第一个平面、第二个平面、第三个平面的法向,R′是旋转矩阵;(2)当平面个数大于3时,平面配准算法包括以下四个步骤:1)为每一对和计算一个对齐变换矩阵T;2)对于每一个T,计算所有的深度相机坐标计算第j个计算所得的平面Πdj和其对应的平面之间的欧氏距离lj;3)用rank(T)=∑j max(l,lj)为所有的T排序,其中l是一个预设的阈值,当lj<l时,认为对应的点对是局内点,T是最小值;4)进行非线性最小优化,求解最佳的对齐变换矩阵T;最佳的对齐变换矩阵T的目标函数为:minIc,I′d,T,TciΣ||x^c-xc||2σc2+Σ(d^-d~)2σd2+β′|λ^′-λ′|2]]>其中:Ic是彩色相机的内参数集,I′d是深度相机的内参数集,T是深度数据和RGB数据之间的对齐变换矩阵,Tci是彩色相机的外参矩阵,是彩色相机的测量方差,是深度相机的测量方差,是彩色相机的测量角点,xc是投影点,是深度相机的测量视差值,是计算得到的视差值,β′是一个权值,是物体点之间的欧氏距离,λ′是物体点之间的测量距离。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于天津理工大学,未经天津理工大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/patent/201510594687.0/,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top