[发明专利]基于虚拟视点合成绘制三维物体的方法和系统

摘要

本发明提供一种基于虚拟视点合成绘制三维物体的方法和系统，所述绘制三维物体的方法包括如下步骤：S1：对参考相机进行标定和配准；S2：选择同一场景下包括左、右两个角度的参考视点，使用参考相机分别采集参考视点左、右两个角度的参考图像；S3：预处理去除深度图像中的无效点；S4：运用图形三维变换技术将参考视点处的每一张参考图像中的彩色图像分别映射到虚拟视点处；S5：将左虚拟彩色图像和右虚拟彩色图像进行融合；S6：将参考图像中的彩色图像和虚拟图像注册到真实环境背景中完成绘制物体虚拟的三维图像。本发明的技术方案解决了传统建模的复杂性问题。

主权项

1.基于虚拟视点合成绘制三维物体的方法，其特征在于，包括如下步骤：S1：对参考相机进行标定和配准；S2：选择同一场景下包括左、右两个角度的参考视点，使用参考相机分别采集参考视点左、右两个角度的参考图像，包括一张彩色图像和一张与彩色图像相应的深度图像；S3：采用中值滤波器对深度图像进行预处理去除深度图像中的无效点；S4：运用图形三维变换技术将参考视点处的每一张参考图像中彩色图像分别映射到虚拟视点处，具体包括：确定虚拟视点的位置后，利用公式1，根据二维空间中的参考图像中深度图像的每个像素点的坐标(u₁,v₁)，计算虚拟视点对应二维平面中像素点的坐标(u₂,v₂)以及三维点相对于虚拟相机的深度值Z₂：其中，虚拟相机为放置在虚拟视点位置处的相机；A₁为参考相机内部参数矩阵；Z₁是三维空间中点相对参考相机的深度值；A₂为虚拟相机内部参数矩阵；R和T分别是虚拟相机相对于参考相机的旋转和平移矩阵；S5：根据映射到虚拟视点处的像素点的坐标(u₂,v₂)可以分别得到左、右两个角度的参考图像中彩色图像对应的左虚拟彩色图像和右虚拟彩色图像，将左虚拟彩色图像和右虚拟彩色图像进行融合；结合表示像素点位置坐标(u₂,v₂)和对应的像素值Z₂，根据如下三种情况计算融合后的彩色图像在像素点(u,v)处的像素值I(u,v)，最终得到虚拟彩色图像：(1)当左虚拟彩色图像和右虚拟彩色图像对应的相同位置的像素点(u₂,v₂)都不为空洞，虚拟彩色图像在像素点(u,v)处的像素值I(u,v)等于在两图像在(u₂,v₂)处的加权像素值，加权值为：其中，t，t_L，t_R分别是虚拟视点、左参考视点、右参考视点下相机外参数的平移向量；(2)当左虚拟彩色图像和右虚拟彩色图像中仅有一幅图像在坐标(u₂,v₂)处不为空洞，虚拟彩色图像在像素点(u,v)处的像素值I(u,v)的值等于非空洞图像对应的像素值；(3)当左虚拟彩色图像和右虚拟彩色图像在(u₂,v₂)都为空洞，虚拟彩色图像在像素点(u,v)处的像素值融合后图像在I(u,v)处也为空洞；其中，空洞表示像素点的像素值为零；S6：使用ARToolkit将物体的参考图像中的彩色图像和S5生成的虚拟彩色图像注册到真实环境背景中完成绘制物体虚拟的三维图像。