[发明专利]多视图场景流拼接

说明书

一种多视图场景流拼接方法，所述方法包括通过多个相机捕获来自三维(3D)场景的图像，并且将捕获的图像拼接在一起以生成既是360度全景的也是立体的虚拟现实视频。所述多个相机捕获视频帧序列，其中每个相机提供所述3D场景的不同视点。所述序列的每个图像像素被投影到3D空间中，以生成多个3D点。通过对一组同步参数进行优化，可以生成立体图像对，以合成来自任何视点的视图。在一些实施例中，所述一组同步参数包括：用于所述多个视频帧中的每个的深度图、表示一段时间内3D空间中的所述多个3D点中的每一个3D点的移动的多个运动矢量、以及一组时间校准参数。

技术领域

本公开总体上涉及一种图像捕获和处理，且更具体地，涉及一种将图像拼接在一起以生成虚拟现实视频。

背景技术

立体像技术通过模拟立体视觉在静止图像或视频图像中创建立体感效应(illusion of depth)，从而通过模拟视差来增强深度感知。为了观察深度，需要场景的相同部分的两个图像，一个图像将由左眼观察，而另一个图像将由用户的右眼观察。因此，被称为立体图像对的一对这样的图像包括场景的来自两个不同视点的两个图像。当通过相应的眼睛同时观察时，两个图像之间的每个场景点的观察方向上的角度差异的不同提供了深度的感知。在一些立体像相机系统中，两个相机被用于各自从不同的视点进行捕获场景。相机配置生成了两个独立但重叠的视图，所述视图捕获了在由两个相机捕获的两个图像中可见的元素的三维(3D)特征。

通过捕获多个图像并将其拼接(例如，马赛克(mosaicing))在一起以组成全景或全方向图像，来生成具有水平伸长视野直到360度的全视图的全景图像。能够在延伸的平面表面上、圆柱形表面上、或球形表面上生成全景图。全方向图像具有围绕视点的360度视图(例如，360度全景)。全向立体声(ODS)系统结合了一对立体声全方位图像，以生成既是全360度全景且立体的投影。这种ODS投影对于生成允许观察者在任何方向上观看的360度虚拟现实(VR)视频是有用的。

附图说明

通过参考附图，可以更好地理解本公开，并且其众多特征和优点对于本领域技术人员而言是显而易见的。在不同附图中使用相同的附图标记表示相似或相同的项目。

图1是根据一些实施例的全方向立体声系统的图。

图2是图示根据一些实施例的多视图合成(synthesis)的示例性实施例的图。

图3是根据一些实施例的用于多视图合成的替换实施例的立体图。

图4是图示根据一些实施例的视频帧中的时间分量的图。

图5是图示根据一些实施例的拼接全方向立体声的方法的流程图。

图6是图示根据一些实施例的图1的全方向立体声系统的电子处理装置的示例实现方式的图。

具体实施方式

图1到图6图示通过多个相机捕获周围三维(3D)场景的多视图图像并且将相机捕获的图像拼接在一起以生成是360度全景的且立体的虚拟现实视频。相机通常具有重叠的视野，使得场景的各部分能够由多个相机各自从场景的不同视点进行捕获。通过并入来自多个相机的空间信息，诸如通过将图像中的像素(表示场景中的特定点的每个像素)与来自相机的还已经捕获了场景中的该特定点的所有其它图像相对应，能够改善渲染的视频帧的像素之间的空间平坦度。视频的性质进一步引入了由于场景改变和/或在场景中随时间推移而移动的对象导致的时间分量。应当考虑与跨越时间并且其中对象能够移动的视频相关联的时间信息以随时间推移提供用于改进的时间一致性。理想地，所有相机都将同步，使得能够识别来自不同相机的一组帧，所述帧都是在同一时间点进行拍摄的。然而，这种精细校准并不总是可行的，从而导致由不同相机捕获的图像帧之间的时间差。由于一些相机的滚动快门，能够引入额外的时间失真。