[发明专利]一种面向虚拟现实交互的冗余视场全景影像构建方法

说明书

本发明提出一种面向虚拟现实交互的冗余视场全景影像构建方法。不同于现有方法先拼接后投影变换的技术路线，本发明所提方法并不显式地生成全景影像，而是通过对影像采集装置以及相应交互算法的设计，在多图像配准等初始化操作基础上，直接将投影变换后的原始影像呈现给用户，当用户视线方向变化或视场角增大以致视野范围超出当前原始影像时，平滑地将当前呈现的影像内容来源切换为相应方向的另一原始影像，避免了全景拼接过程中视觉异常现象的出现，改善了虚拟现实交互的用户体验。

技术领域

本发明属于计算机视觉领域，涉及全景影像构建方法，尤其涉及一种面向虚拟现实交互的冗余视场全景影像构建方法。

背景技术

随着计算机视觉基础理论和处理器性能的不断进步，以虚拟现实(VirtualReality，VR)为代表的新型人机交互模式在近年得到了快速发展。全景影像支持大角度范围内视线方向的自由变换，能够给用户提供良好的沉浸式体验，因此广泛应用于各种虚拟现实系统，是实现虚拟现实交互的重要途径之一。全景影像的呈现效果成为影响虚拟现实交互体验的重要因素。

现有的全景影像构建方法可分为折反射全景、鱼眼全景与拼接式全景三类。其中，折反射全景与鱼眼全景都难以完全覆盖360×180度的全立体角，并且存在局部虚焦和分辨率不均匀的问题。而拼接式全景兼具高分辨率和高成像质量的优点，通过合理的分镜头布局能够覆盖全立体角，逐渐成为目前主流的全景影像构建方法。

拼接式全景成像首先采用拼接融合的方式将多路影像合成为一路更大视场角(Field-Of-View，FOV)、更高分辨率的全景影像，然后根据用户的视线方向和视场角大小，将全景影像的部分内容经投影变换后呈现给用户。在多路影像采集过程中，由于光学结构的限制，多路相机的光心并不能完全重合，导致图像重叠区域的物体形状和大小不一致，即存在结构偏差，进而造成拼接所得全景影像中存在模糊、扭曲、断裂等视觉异常现象。近年来，大量基于不同数学原理的局部自适应全景拼接方法被提出，以消除结构偏差对全景影像质量的影响。但由于拍摄过程中大量不可控因素的存在以及自然场景本身的复杂性，这一难题并未得到完善的解决。

发明内容

本发明的目的是通过以下技术方案实现的。

本发明提出一种面向虚拟现实交互的冗余视场全景影像构建方法。不同于现有方法先拼接后投影变换的技术路线，所提方法并不显式地生成全景影像，而是通过对影像采集装置以及相应交互算法的设计，在多图像配准等初始化操作基础上，直接将投影变换后的原始影像呈现给用户，当用户视线方向变化或视场角增大以致视野范围超出当前原始影像时，平滑地将当前呈现的影像内容来源切换为相应方向的另一原始影像，避免了全景拼接过程中视觉异常现象的出现，改善了虚拟现实交互的用户体验。

具体地，本发明采用的技术方案是：

一种面向虚拟现实交互的冗余视场全景影像构建方法，包括以下步骤：

S1.设计并搭建冗余视场的多路影像采集装置，确保在视场角不超过一定阈值的情况下，任意视线方向的整个视野范围都同时被至少两路原始影像覆盖；

S2.在S1中搭建得到的多路影像采集装置的基础上，采用光束平差法配准得到多路原始影像、全景成像平面以及呈现给用户的观察图像平面之间的投影变换关系；

S3.在S1中搭建得到的多路影像采集装置与S2中配准所得投影变换关系的基础上，基于视线方向与视场角的变化，建立用户视野中所呈现影像内容来源的平滑切换策略，以实现高质量的虚拟现实交互。

进一步地，所述步骤S1的具体方法包括：