[发明专利]一种用于结构光的3D重建方法和系统

说明书

本申请实施例公开了一种用于结构光的3D重建方法及系统，包括：对摄像头与投影器进行标定；采用所述投影器以及所述摄像头对目标物体进行图像采集；对目标ROI提取并对目标区域ROI的稀疏深度图；根据目标区域ROI的稀疏深度图确定目标区域稠密视差图的视差范围；根据所述视差范围对所述第二目标区域ROI以及所述第四目标区域ROI进行匹配，得到目标区域ROI稠密深度图。本申请解决了现有技术中只选择有限地特征点进行稀疏匹配，无法满足更多的视觉应用的问题。

技术领域

本申请涉及3D重建技术领域，尤其涉及一种用于结构光的3D重建的方法和系统。

背景技术

常见的获取3D信息的光学成像方法有飞行时间法(time-of-flight,TOF)和三角测量法(Triangulation)，每一类方法又有很多分支。其中，三角测量法又分为结构光、双目视觉和激光扫描。结构光(特别是空间编码结构光)和双目视觉可以实现只采集一帧图像就计算出整个视场的距离信息，因而更适合实时性要求比较高的情况。

空间编码结构光使用一个可以产生伪随机点阵图案的光源往目标物体投射伪随机点阵图案，摄像头采集的图像得到一个随目标物体表面变化而产生一定变化的图案，为了找到正确的光源点和目标物体成像的像素间的正确对应光学，需要通过算法匹配每一个小窗口内的光源伪随机点阵图案和摄像头采集到的图案。然而结构光成像的一个缺点是多个成像系统间会相互干扰(即多个结构光3D摄像头不能对同一目标物体同时成像)，因为不同结构光3D摄像头的光源投影图案重叠后，无法对采集的图案重叠后的图像和已知的投影图案进行匹配。双目视觉则可以客服这一缺点。

双目视觉原理和空间编码结构光基本一致，本质上是用另一个摄像头取代产生伪随机点阵图案的光源(从数学上说，摄像头相当于一个逆向投影光源)，转而依赖两个摄像头图像中目标物体表面纹理特征匹配来找到两个摄像头里点的对应关系。为了减小搜索窗口，加快匹配速度，一般先对结构光投影器和摄像头(在双目视觉中则是左右两个摄像头)进行光学标定和相应的图像校准，这样对每一个待匹配的参考窗口，其对应的理想匹配窗口在一条直线上，搜索只需要在一个方向上进行(一维搜索)。即使只需要一维搜索，对整幅图像完成匹配的计算量也非常大。假设匹配的参考窗口远远小于图像大小，如果图像大小是M*N(M为纵向分辨率，N为横向分辨率),完成整幅图像的匹配也需要进行M*N*N次窗口匹配，每一次窗口匹配本身的计算量也随窗口大小增大而增加。

然而在现有的结构光匹配方法中，为了减少匹配计算量和提高匹配速度，通常的做法是只进行稀疏匹配，即只选择有限的特征点进行匹配得到稀疏(低空间分辨率)深度图。但是在很多视觉应用中，稀疏深度图无法满足要求。

发明内容

本申请实施例提供了一种用于结构光的3D重建的方法和系统，解决现有技术中只选择有限地特征点进行稀疏匹配，无法满足更多的视觉应用的问题。

有鉴于此，本申请第一方面提供了一种用于结构光的3D重建的方法，所述方法包括：

对摄像头与投影器进行标定，得到投影器内参、摄像头内参以及摄像头与投影器关系的外参；

采用所述投影器以及所述摄像头对目标物体进行图像采集，得到自然图像、投影器图案以及带图案投影图像；

提取所述自然图像中的第一目标区域ROI(感兴趣区域)以及第一目标区域ROI的边界，并对所述第一目标区域ROI进行粗略稀疏重建，得到所述第一目标区域ROI的稀疏深度图；

将所述第一目标区域ROI的稀疏深度图转换成目标区域稀疏点云图，对所述目标区域稀疏点云图稠密化处理，得到目标区域稠密图，根据所述目标区域稠密图确定目标区域稠密视差图的视差范围；

采用所述投影器内参对所述投影器图案校准并得到第二目标区域ROI；

采用带图案投影图像以及目标区域ROI边界得到第三目标区域ROI；