[发明专利]基于虚拟视点合成绘制三维物体的方法和系统

说明书

本发明提供一种基于虚拟视点合成绘制三维物体的方法和系统，所述绘制三维物体的方法包括如下步骤：S1：对参考相机进行标定和配准；S2：选择同一场景下包括左、右两个角度的参考视点，使用参考相机分别采集参考视点左、右两个角度的参考图像；S3：预处理去除深度图像中的无效点；S4：运用图形三维变换技术将参考视点处的每一张参考图像中的彩色图像分别映射到虚拟视点处；S5：将左虚拟彩色图像和右虚拟彩色图像进行融合；S6：将参考图像中的彩色图像和虚拟图像注册到真实环境背景中完成绘制物体虚拟的三维图像。本发明的技术方案解决了传统建模的复杂性问题。

技术领域

本发明涉及虚拟视点重建技术领域，具体而言，尤其涉及一种基于虚拟视点合成绘制三维物体的方法和系统。

背景技术

混合现实(Mixed Reality，MR)实际上是虚拟现实(Virtual Reality，VR)和增强现实(Augmented Reality，AR)的一种结合。MR是先把真实的东西虚拟化，然后和真实世界叠加到一起，从而产生一个新的可视化环境，虚拟物体与真实世界可以在这种环境中共存，并实时互动。MR要实现真实的渲染，需要获得一个物体或场景的全方位信息，对于某些大型场景实现起来比较困难。虚拟视点重建技术解决了这一问题，通过获取少量的数据，在终端实现各个视点的数据合集。

虚拟视点重建技术，就是利用已知视点的图像绘制出虚拟视点的图像，该技术主要分为两种：一种是基于模型的绘制技术(Model Based Rendering，MBR)，利用计算机图形学，建立出三维场景模型，然后通过计算机着色投影和光照渲染等步骤，生成虚拟视点的图像。但由于三维模型的精度通常较低且注册场景环境光照复杂、不易控制，所以MBR成像不但计算速度慢、人工成本高且真实感并不理想；一种是基于图像的绘制技术(Image BasedRendering，IBR)，基于已有的真实图像序列生成虚拟视角效果，避免了复杂的几何建模与计算，因此实现过程快速简单，成像效果逼真，但在鲁棒性以及对注册环境的适应性方面还有进一步提升的空间，根据绘制图像时用到的三维几何信息数据的多少，将IBR技术分为三种：不用几何信息的IBR技术、使用隐式几何信息的IBR技术、使用显式几何信息的IBR技术。

针对使用隐式几何信息的IBR技术，现在通常使用三维重建技术来重构一个真实的三维物体，该技术需要在计算机中真实地重建出物体表面的三维虚拟模型，所以需要对物体进行复杂的建模处理，三维物体景物模型建立好以后，虽然可以实现任意视点的显示，但是在建模过程中也存在很多的问题。

第一个缺点是为了绘制出三维图形景观，需要根据基本图形单元建立景物模型，并对模型进行数学描述，因此三维重建对象受限，在对平面体建模时效果好，但在对复杂实体模型重建时效果差，尤其是一些复杂曲面体。

第二个缺点是景物模型建立好以后，为了获得真实场景般逼真的三维模型，还需要计算模型中所有物体的色彩，确定光照条件、纹理粘贴方式，从而得到具有纹理的三维物体，提高模型的真实感。

发明内容

根据上述提出传统建模的复杂性问题，而提供一种基于虚拟视点合成绘制三维物体的方法和系统。本发明主要利用隐式几何信息的IBR技术——基于深度的图像绘制技术(Depth-Image-BasedRendering，DIBR)，利用双向映射实现虚拟物体的重建，从而实现用少量的图像数据完成整个三维物体的重现。

本发明采用的技术手段如下：

本发明提供了一种基于虚拟视点合成绘制三维物体的方法，包括如下步骤：

S1：对参考相机进行标定和配准；

S2：选择同一场景下包括左、右两个角度的参考视点，使用参考相机分别采集参考视点左、右两个角度的参考图像，包括一张彩色图像和一张与彩色图像相应的深度图像；

S3：采用中值滤波器对深度图像进行预处理去除深度图像中的无效点；