[发明专利]一种虚拟现实的六自由度三维重构方法、系统及便携式终端

说明书

技术领域

本发明涉及一种图像的处理方法，特别是涉及一种虚拟现实的六自由度三维重构方法、系统及便携式终端。

背景技术

和普通平面图像相比，鱼眼图像能够记录的场景范围更广，利用环形排布的多个摄像机拍摄可以得到多幅鱼眼图像。目前虚拟现实技术只能实现3个自由度的旋转体验，难以实现在空间上的平移效果，带给用户的视觉效果和临场感较差。

现有技术中，针对虚拟现实中图片的三维重构方法分散于各种文献中，例如，中国专利申请号2016106797331揭示了一种基于单光场相机的目标物三维重构方法，该方法流程较为复杂，且主要应用场景为工业生产线上产品的三维形状检测等领域，三维重构的效果有待进一步提高。

移动客户端的三维重构技术目前也散见于各种文献，例如，该专利申请2016102078353揭示了一种双目三维重构方法，同样的，该技术对硬件要求较高，市场化成本较高，不利于大规模推广，且流程复杂，计算量大，硬件负荷较大。

因此，有必要重新审视虚拟现实技术中三维重构的思路，开发一种利用新的三维重构技术，重建出摄像机周围360°的场景，实现六自由度的体验，带给用户较好的真实感和临场感的技术。

发明内容

本发明的目的在于提供一种虚拟现实的六自由度三维重构方法、系统及便携式终端。

本发明提供的虚拟现实的六自由度三维重构方法包括获取鱼眼图像的步骤，进一步包括：

对鱼眼图像进行畸变矫正；

对畸变矫正后的图像进行立体校正；

对立体校正后的相邻图像进行立体匹配，获取视差图；

将视差图转换为深度图；

根据深度图和立体校正后的图像重构三维全景图。

进一步的，鱼眼图像的数量为N个，鱼眼图像由摄像机或鱼眼镜头拍摄，摄像机或鱼眼镜头的数量为N个，N为大于等于2的整数。

进一步的，畸变矫正具体为：对N个摄像机进行标定，获取摄像机的内部拍摄参数和畸变系数；根据获取的内部拍摄参数和畸变系数对N幅鱼眼图像进行畸变矫正，得到矫正后的图像。

进一步的，立体匹配是对相邻的两幅图像进行立体匹配，获取N幅视差图disp₁-disp_n。

进一步的，视差图转换为深度图具体为：获取视差值与深度值之间的关系，将N幅视差图转换为深度图depth₁-depth_n。

进一步的，重构三维全景图具体为：获取二维图像点到三维空间点的反投影模型，基于反投影模型，利用深度图和校正后的图像I₁ - I_n重构三维全景图。

本发明提供的虚拟现实的六自由度三维重构系统包括鱼眼图像获取模块，用于加载摄像机拍摄的鱼眼图像，此处的摄像机可以为N个，N为大于等于2的整数，特别的，摄像机也可以为鱼眼镜头，因此，鱼眼图像的数量相应的为N幅，进一步包括：

畸变矫正模块：用于对获取的鱼眼图像进行畸变矫正，该模块对N个摄像机进行标定，获取摄像机的内部拍摄参数和畸变系数；

根据获取的内部拍摄参数和畸变系数对N幅鱼眼图像进行畸变矫正，得到矫正后的图像。

立体校正模块：用于对畸变矫正模块输出的图像进行立体校正，得到校正后的图像I₁ - I_n。

立体匹配模块：用于对校正后相邻的两幅图像进行进行立体匹配，相邻的两幅图像，例如I₁-I₂，I₂-I_3,…I_n-I₁进行立体匹配获取N幅视差图disp₁-disp_n。

视图转换模块：用于将立体匹配模块输出的N幅视差图转换为深度图。该模块获取视差值与深度值之间的关系，根据视差值与深度值之间的关系，将N幅视差图转换为深度图depth₁-depth_n。

三维全景重构模块：根据深度图和矫正后的图像I₁ - I_n重构三维全景图，该模块获取二维图像点到三维空间点的反投影模型，基于反投影模型，利用深度图和校正后的图像I₁ - I_n重构三维全景图。