[发明专利]一种视频处理方法和装置

说明书

一种视频处理方法，包括：接收对应于球体的全向内容；从该球体的该全向内容中获得多个投影面；以及透过生成至少一个填充区域并将该多个投影面和该至少一个填充区域堆栈到360度虚拟实境投影布局中，创建基于投影的图框。堆栈在该360度虚拟实境投影布局中的该多个投影面包括第一投影面和第二投影面，其中如果该第一投影面的一个边连接于该第二投影面的一个边，则在该第一投影面的该一个边与该第二投影面的一个边之间存在图像内容不连续边缘。堆栈在该360度虚拟实境投影布局中的该至少一个填充区域包括第一填充区域，其中该第一填充区域连接于该第一投影面的一个边和该第二投影面的一个边，以用于在该360度虚拟实境投影布局中将该第一投影面的一个边与该第二投影面的一个边隔离。

相关引用

本发明主张在2017年03月13日提出的第62/470,425号的美国临时专利申请的优先权，该申请案以引用的方式并入本文。

技术领域

本发明涉及处理全向图像/视频内容，且更具体而言，涉及生成和编码包括堆栈(packed)在360度虚拟实境(360-degree virtual reality，360VR)投影布局中的至少一个填充区域和至少一个投影面的基于投影的图框的方法及装置。

背景技术

具有头戴式显示(head-mounted display，HMD)的VR与不同的应用相关。向用户显示较宽区域的观看内容的能力可以用于提供身临其境的视觉体验。必须在所有方向撷取现实世界环境，以得到对应于球体的全向图像/视频内容。随着摄像机设备和HMD的发展，由于呈现这种360度图像/视频内容所需的高比特率，所以VR内容的传送可能很快变成瓶颈。当全向视频的分辨率是4k或者更高时，数据压缩/编码对降低比特率是至关重要的。

通常，对应于球体的全向图像/视频内容被转换成图像序列，每个图像是具有由排列在360VR投影布局中的一个或多个投影面所表示的360度图像/视频内容的基于投影的图框，随后，基于投影的图框的序列被编码成比特流以用于传输。如果所采用的360VR投影布局设计不合理，则基于投影的图框可能不紧凑和/或具有由投影面的堆栈引起的很多图像内容不连续边缘(image content continuity edge)。另外，压缩之后的基于投影的图框的边界(boundary)和/或图像内容不连续边缘的图像质量可能较差。

发明内容

所要求保护的本发明的目的之一在于，提供一种生成和编码包括堆栈在360度虚拟实境投影布局中的至少一个填充区域和至少一个投影面的基于投影的图框。用360度虚拟实境投影布局的适当的填充设计，基于投影的图框可以在压缩后具有更好的图像质量。

根据本发明的第一方面，公开了一种示例性视频处理方法。该示例性视频处理方法包括：接收对应于球体的全向内容；从球体的全向内容中获得多个投影面，其中球体的全向内容透过360度虚拟实境投影被映像到多个投影面；以及转换电路透过生成至少一个填充区域并将多个投影面和至少一个填充区域堆栈到360度虚拟实境投影布局中，创建基于投影的图框，其中堆栈在360度虚拟实境投影布局中的多个投影面包括第一投影面和第二投影面，其中如果第一投影面的一个边连接于第二投影面的一个边，则在第一投影面的一个边与第二投影面的一个边之间存在图像内容不连续边缘；堆栈在360度虚拟实境投影布局中的至少一个填充区域包括第一填充区域，其中第一填充区域连接于第一投影面的一个边和第二投影面的一个边，以用于在360度虚拟实境投影布局中将第一投影面的一个边与第二投影面的一个边隔离。