[发明专利]一种视频处理方法和装置

说明书

本发明公开了一种视频处理方法包括：接收与球形视野体对应的全向图像/视频内容，根据该全向图像/视频内容和基于视角的立方体投影布局生成基于投影的帧序列，并对基于投影的帧序列进行编码以生成比特流。每个基于投影的帧都具有由打包在基于视角的多个立方体投影布局中的矩形投影面表示的360度的图像/视频内容。该多个矩形投影面包括第一矩形投影面、第二矩形投影面、第三矩形投影面、第四矩形投影面、第五矩形投影面和被划分为多个部分矩形投影面的第六矩形投影面。第一矩形投影面对应于用户的视角，并且被由第二矩形投影面、第三矩形投影面、第四矩形投影面、第五矩形投影面和该多个部分矩形投影面构成的周围区域包围。

相关申请的交叉引用

本申请要求下列申请的优先权：2016年12月14日提出的申请号为 62/433,858的美国临时案，以及2017年01月13日提出的申请号为62/445,809 的美国临时案。在此合并参考这些申请案的申请标的。

技术领域

本发明有关于处理全向图像/视频内容。更具体地，本发明涉及用于生成和编码具有由紧凑的基于视角的立方体投影布局中的矩形投影面表示的360度内容(例如，360度图像内容或360度视频内容)的基于投影的帧的方法和设备。

背景技术

具有头戴式显示器(head-mounted display，HMD)的虚拟现实(Virtual reality，VR)与各种应用相关。向用户显示广泛视野内容的能力可用于提供身临其境的视觉体验。必须捕捉所有方向上的真实世界的环境，从而生成对应于视野范围的全向图像/视频。随着摄像机和HMD的发展，由于表示诸如360度图像/视频之类的内容所需的高比特率，而导致VR内容的传送可能很快遇到瓶颈。当全向视频的分辨率为4k或更高时，数据压缩/编码对比特率的降低至关重要。

发明内容

本发明的目的之一是提供一种用于生成和编码具有由紧凑的基于视角的立方体投影布局中的矩形投影面表示的360度内容(例如，360度图像内容或360 度内容)的基于投影的帧的方法和设备。通过基于视角的立方体投影布局的适当设计，基于投影的帧可以具有紧凑形式，和/或使用者的视角的图像内容(即，视角区域)可以保存在主投影面中(例如中央矩形投影面)。

根据本发明的第一方面，公开了一种示例性的视频处理方法。该示例性视频处理方法包括：接收对应于球形视野的全向图像/视频内容；根据该全向图像/ 视频内容和基于视角的立方体投影布局生成基于投影的帧，由视频编码器编码该基于投影的帧以生成比特流的一部分，其中该基于投影的帧具有由打包在该基于视角的立方体投影布局中的多个矩形投影面表示的360度图像/视频内容。该基于视角的立方体投影布局包括第一矩形投影面、第二矩形投影面、第三矩形投影面、第四矩形投影面、第五矩形投影面和第六矩形投影面，该第六矩形投影面被划分成多个部分矩形投影面(例如，四个部分矩形投影面)。该第一矩形投影面对应于用户的视角并且被由该第二矩形投影面、该第三矩形投影面、该第四矩形投影面、该第五矩形投影面和该多个部分矩形投影面(例如，四个部分矩形投影面)组成的周围区域包围。

根据本发明的第二方面，公开了一种示例性视频处理装置。示例性视频处理装置包括转换电路和视频编码器。转换电路用于接收对应于球形视野的全向图像/视频内容，并且根据该全向图像/视频内容和基于视角的立方体投影布局生成基于投影的帧，其中该基于投影的帧具有由打包在该基于视角的立方体投影布局中的多个矩形投影面表示的360度图像/视频内容，并且该多个矩形投影面包括第一矩形投影面、第二矩形投影面、第三矩形投影面、第四矩形投影面、第五矩形投影面和被划分成多个部分矩形投影面(例如，四个部分矩形投影面) 的第六矩形投影面，并且该第一矩形投影面对应于用户的视角并且被由该第二矩形投影面、该第三矩形投影面、该第四矩形投影面、该第五矩形投影面和该多个部分矩形投影面(例如，四个部分矩形投影面)构成的周围区域包围；视频编码器用于编码该基于投影的帧以产生比特流的一部分。