[发明专利]处理立方体面图像的视频序列的方法及装置

说明书

本发明公开了一种处理立方体面图像的视频序列的方法及装置。根据该方法，接收包含一序列矩形组装图像的视频序列，其中该矩形组装图像的每一个对应于六个立方体面图像的集合，以用于渲染360度虚拟现实，并且该矩形组装图像是基于连续边界的数量以及不连续边界的数量，自至少一个的六个立方体面图像的集合组装的；依据的矩形组装图像的信息来解码包含该序列矩形组装图像的该视频序列，其中该矩形组装图像的信息表示该六个立方体面图像对于该矩形组装图像的组装关系；其中每个连续边界对应于具有从一个面到另一个面的连续内容的两个面之间的一个边界，并且每个不连续边界对应于具有从一个面到另一个面的不连续内容的两个面之间的一个边界。

相关申请

本发明是申请号为201780005908.3、发明名称为“处理立方体面图像的方法及装置”的发明专利申请的分案申请。

技术领域

本发明涉及图像和视频编解码。具体地，本发明涉及自360度全景视频转换的立方体面图像的图像处理与视频压缩的技术。

背景技术

360度视频，也称为沉浸式视频，是一种新兴技术，其可提供“身临其境的感觉”。沉浸感通过用覆盖全景视图的环绕场景来围绕使用者来实现，具体是用360度视场。“身临其境的感觉”还可以通过立体渲染来提升。因此，全景视频正被广泛应用于虚拟现实(VirtualReality，VR)应用中。

沉浸式视频涉及使用多个摄像机捕捉场景以覆盖全景视图，例如360度视场。沉浸式摄像机通常使用用于捕捉360度视场的一组摄像机。通常，两个或以上摄像机用于沉浸式摄像机。所有视频必须同时被捕捉，以及场景的单独段(也称为单独透视图)被记录。此外，一组摄像机常常被设置成水平地捕捉视图，而这些摄像机的其他设置也是可能的。

图1示出了360度球面全景图像的示例性处理链。360度球面全景图像可以采用360度球面全景摄像机来捕捉。球面图像处理单元110自摄像机接收原始图像数据，以形成360度球面全景图像。球面图像处理可包括图像缝合和摄像机校准。球面图像处理在本技术领域中是熟知的，且在本公开中省略其细节。来自于球面图像处理单元110的360度球面全景图像的示例在图像112中示出。如果摄像机被定位以使得顶端朝上，则360度球面全景图像的顶端对应于垂直上方(或天空)，且底端指向大地。然而，如果摄像机被配置有陀螺仪，则垂直顶端可以总是被确定而无论摄像机如何被定位。在360度球面全景格式中，场景中的内容似乎是失真的。通常，球面格式被投影到立方体的表面，作为可选的360度格式。转换可以由投影变换单元120来执行，以推导出对应于立方体的六个面的六面图像122。在立方体的面上，这六个图像被连接于立方体的边缘处。由于360度图像序列可能需要较大存储空间或者需要较高带宽以用于传输，视频编码器130的视频编码可以被应用于包括六面图像序列的视频序列。在接收器侧或显示侧处，已压缩视频数据使用视频解码器140来解码以恢复六面图像序列，以在显示设备150(例如，VR显示)上进行显示。

图2A示出了投影转换的示例，其中球面图像被投影到立方体的六个面上。立方体的六个面从1到6进行编号。三个可见侧210(即1、4和5)和三个不可见侧220在图2A中示出。每侧的方向由其相应的侧编号来表示。虚线圈中的侧编号表示透视图像，是由于这些图像位于立方体的后侧。这六个立方面从一个面到连接面连续于连接边缘处。例如，面1与面5连接于边缘214处。因此，如图2B所示，面1的顶端边缘连续地延伸到面5的底端边缘，又例如，面4与面5的右侧连接与边缘212。因此，如图2C所示，面4的顶端边缘连续地延伸到面5的右侧。面1与面5之间以及面4与面5之间的细缝隙旨在示出两个面之间的图像边界。

为了允许图像处理系统或视频处理系统采用六个立方体面之间的空间和/或时间相关性或冗余，需要开发将这六个立方体面组装成已组装矩形图像的方法，以用于有效的处理或压缩。

发明内容