[发明专利]多图像融合的立体布景视觉新角度构建绘制方法

说明书

本发明提供的多图像融合的立体布景视觉新角度构建绘制方法，提出基于超像素块的深度样本插值，利用已知深度信息，对缺失的超像素块深度插值，得到每个区域都含有足够三维点云信息的三维点云模型，利用这些三维点云进行视觉新角度构建，把已知视角的图像内容变换到视觉新角度图像上的对应位置，基于超像素分割的结果采用局部变形的方法，每个超像素块间相对独立，可以并行的处理，大大提高了计算速度。针对空洞区域，通过基于块修正的方法，不断对空洞区域进行顺序迭代的改良，直到空洞区域填补完成为止，最终能够呈现给用户在视觉上具有真实感较强的视觉新角度图像，视觉新角度构建速度较快，视觉效果良好。

技术领域

本发明涉及一种视觉新角度构建绘制方法，特别涉及多图像融合的立体布景视觉新角度构建绘制方法，属于立体布景视角构建技术领域。

背景技术

立体重构技术在现实生活中的诸多领域都发挥着非常重要的作用，比如虚拟现实、动画制作、医学图像、景点游览等。正是由于该技术的应用广泛，使得有许多方法来实现立体重构，当前利用较多的立体重构技术可分为三种，第一种是通过计算机软件重构出一个立体布景模型，第二种是利用扫描设备采集数据重构一个布景的三维模型，第三种是基于二维图像集合重构出一个三维的布景。三维模型重构软件是基于计算机系统的三维模型和动画渲染的制作软件，比如3DStudioMax常用于动画制作、工业建模、装潢设计等领域，在影视界常采用Softimage和Maya制作影视广告、电影特效等，能制作渲染出良好的三维模型。但三维模型重构软件对于真实布景以及大规模的布景难以处理，而且软件需要较为专业的用户来操作使用。

基于扫描设备的三维模型重构方法较多，当前较为常用的是微软研发的Kinect设备，通过Kinect设备对布景逐渐扫描，再对深度图像进行滤波操作，然后利用ICP和PCL进行配准，重构出该布景的三维模型。通过Kinect设备可把现实中的真实布景进行数字化处理，将虚拟现实和真实世界互联起来。通过扫描得到的深度图像会存在很多噪声，这将严重影响最终得到的三维模型，并且该重构方法需要一系列的后处理操作。同时，由于Kinect设备仪器的限制，使得在重构上的费用大幅增加。此外，对于大型或者非常复杂的布景，基于扫描设备的三维模型重构方法很难进行重构。

以上二种方法对布景建模时需要的人力物力消耗明显较大，而且对真实布景或大规模的复杂布景重构时，得到的三维模型也不尽如人意。基于视觉方法的立体重构技术为立体重构领域的发展开辟了一条新的道路，基于视觉的立体重构技术是基于图像集合对布景进行立体重构，通过数字相机采用布景的二维图像，然后综合利用计算机视觉、图像处理等原理进行三维测量，无需实地进行尺寸测量，再运用计算机处理，最终得到布景的三维模型。基于视觉的立体重构技术对于现实布景的适用性高，重构速度快，甚至可以不增加任何交互完成整个过程。因此，基于视觉方法的立体重构越来越成为一个具有广阔前景的研究和应用方向。

计算机视觉中依据相机个数的不同，可进一步分为单目视觉法、立体视觉法等，其中单目视觉法是利用单个相机进行布景立体重构的方法，可认为所采用的图像是从单个视角的单张或一个图像集合，也可是多个视角的一个图像集合获取的。若是单个视角，就需要通过输入图像的二维特征计算相关的深度信息，过程相对简单，得出的只是较粗略的三维模型。而基于多视角图像集合进行重构，可通过相机自标定，不同视角间的特征点匹配，然后利用这些特征点进行约束，得到整个布景的三维模型，该方法能够适用大规模而且复杂的布景，若图像集合越大且图像分辨率越高，最终重构结果也相对更好，但是，需要付出较大的是计算量及处理时间代价。