[发明专利]双目视图和单目视图之间的转换

说明书

图像处理系统被设计成生成具有双目视图和单目视图之间的平滑转换的画布视图。最初，图像处理系统接收场景的顶部/底部图像和侧面图像并且计算偏移量以生成用户的左视图和右视图的合成的侧面图像。为了实现双目视图和单目视图之间的平滑转换，图像处理系统首先将顶部/底部图像扭曲到相应的合成的侧面图像上以生成扭曲的顶部/底部图像，从而在形状上实现平滑转换。然后图像处理系统将扭曲的顶部/底部图像变形到相应的合成的侧面图像上以生成混合图像，用于具有混合图像的左眼视图和右眼视图。图像处理系统基于混合图像创建在图像形状和颜色上具有双目视图和单目视图之间的平滑转换的画布视图。

技术领域

本公开内容总体涉及视觉系统，并且更具体地，涉及实现双目视图和单目视图之间的平滑转换。

背景技术

虚拟现实(VR)变得越来越流行，并且多相机系统经常在VR系统中使用以捕获图像和/或视频，为体验VR系统的用户创建虚拟场景。由不同相机捕获的图像可以组合成用于提供虚拟场景的画布视图，从而使用户体验VR效果。然而，在组合由不同相机捕获的图像以创建合成图像时会出现问题。作为一个实例，粗略混合由不同相机拍摄的同一对象的图像会引起组合图像中的复视。此外，在创建画布视图以模拟用户上下看的视图时，双目视图和单目视图之间的转换可能是突然变化的或使双目视图的顶部相机和侧面相机之间出现接缝，从而引起创建视图中的失真并且降低对VR系统的用户体验。

因此，需要双目视图和单目视图之间的平滑转换。

发明内容

图像处理系统经由图像混合创建具有双目视图和单目视图之间的平滑转换的画布视图。

图像处理系统接收包括对象的场景的图像，场景的图像通过相机机台架系统捕获。捕获的图像包括由顶轴相机/底轴相机拍摄的顶部/底部图像以及由包括在相机机台架系统中的周缘相机拍摄的侧面图像。图像处理系统也从侧面图像创建合成图像以模拟从一个或多个周缘相机之间的合成相机的位置的视图。合成图像反映合成视图，其模拟在用户的眼睛的视线指向对象时的用户的左视图/右视图。可生成多个合成视图，例如以模拟用于用户的左眼和右眼的视图，从而提供双目视觉。

在创建合成图像之后，图像处理系统执行用于双目视图(其中每个眼睛不同)和单目视图(其中每个眼睛相同)之间的平滑转换的图像混合。对于以一角度高于周缘相机的视场的画布视图的部分，使用顶部相机或底部相机，可以为双眼提供相同的图像，从而实现单目视觉。为了使单目视觉和双目视觉之间的转换平滑，顶部/底部图像首先扭曲到相应的合成图像上，以生成在形状上平滑转换的扭曲的顶部/底部图像，并且光流被用于形状扭曲。然后图像处理系统使扭曲的顶部/底部图像变形到合成图像上，以生成在颜色上平滑转换的混合图像，并且α混合用于颜色变形。图像处理系统将以上描述的混合处理应用至左眼视图和右眼视图两者，从而生成用于左眼和右眼两者的画布视图。

在一些实施方式中，图像处理系统根据竖直角调整合成视图的位置，使得用于双眼的两个合成相机位于在到地面的竖直角水平的最大瞳孔间距离处，并且随着竖直角接近高于周缘相机的视场的角度，两个合成相机之间的距离减少。两个合成相机之间的距离可通过模拟根据竖直角减少的瞳孔间距离来减少。在一些实施方式中，在竖直角高于阈值时，瞳孔间距离为零，该阈值可对应于高于周缘相机的视场的竖直角。在这个情况中，合成相机可具有相同的位置和视图。

在一些实例中，相机视图可能被对象挡住，诸如相机机台架的支撑结构。对象的遮挡通过将次要摄影机视图合并到主要相机视图中来移除。主要相机视图可包括与其他摄像头的视点一致的视图，但是包括遮挡其部分环境的视图的对象。次要摄影机位于对象的另一侧，使得次要摄影机包括主要视图中由对象遮挡的环境的部分。在主要视图和次要视图中，过滤器被应用至包括遮挡对象的视图的部分。过滤器可以排除或清零过滤器应用至的像素的α通道或像素值。光流是从次要视图到主要视图计算的，并且使用光流将次要视图与主要视图组合。通过使次要相机具有与主要相机相似的环境的视图并且组合得到的图像，可生成组合视图，从而产生单独相机捕获环境而没有遮挡的错觉。