[发明专利]空间排序视频编码应用中的多向图像处理

说明书

本发明题为“空间排序视频编码应用中的多向图像处理”。图像处理技术可加快对包含在多视图图像数据内的视口数据的编码。根据此类技术，编码器可以根据解码器提供的视口位置数据移位多向图像数据的内容。编码器可以通过预测编码对移位的多向图像数据进行编码，并且将编码的多向图像数据和识别移位量的数据传送给解码器。这样做可将视口位置移动到图像数据中比视口位置自然占据的位置更早编码的位置，从而可以加速编码。在解码时，解码器可以将其当前视口位置与编码器提供的视口位置数据与编码视频数据进行比较。解码器可以对编码的视频数据进行解码，并且提取解码视频数据的对应于当前视口位置的部分进行显示。

背景技术

本公开涉及用于多向成像应用的编码技术。

一些现代成像应用可以从关于相机的多个方向捕获图像数据。一些相机在图像捕获期间旋转，这允许相机通过扩展相机有效视场的角度扫描捕获图像数据。一些其他相机具有多个成像系统，其可以在多个不同的视场中捕获图像数据。在任一情况下，可以创建聚合图像，其合并从这些多个视野捕获的图像数据。

各种呈现应用可用于多向内容。一个呈现应用涉及提取和显示包含在多向图像中的内容的一个子集。例如，观察者可以采用头戴式显示器并改变显示器的取向以识别多向图像中观察者感兴趣的部分。或者，观察者可以采用静止显示器并通过用户界面控件识别多向图像中观察者感兴趣的部分。在这些呈现应用中，显示设备从多向图像中提取图像内容的一部分(为方便起见称为“视口”)并予以显示。显示设备不会显示多向图像在视口占据的区域之外的其他部分。

在此类应用中，因此，显示设备接收超过需要显示的数据的图像数据。当通过视频压缩技术对接收的数据进行编码时，在将多向图像提供给显示器以进行呈现之前，可以采用解码设备完整地解码多向图像的压缩图像数据。解码此类图像数据需要处理延迟，该延迟可延缓视口数据的呈现。

因此，发明人认为本领域需要一种视频编码技术，该技术编码多向图像的数据，但避免在为显示应用生成视口数据时出现不必要的延迟。

附图说明

图1示出了根据本公开的一个方面的系统。

图2示意性地示出了根据本公开的一个方面的用于宿终端的呈现应用。

图3示出了根据本公开的一个方面的一种方法。

图4示出了可以由源终端编码的全向视频帧。

图5示出了可由图3的方法获得的移位帧。

图6是根据本公开的一个方面的编码系统的功能框图。

图7是根据本公开的一个方面的解码系统的功能框图。

图8是根据本公开的一个方面的编码系统的功能框图。

图9是根据本公开的一个方面的解码系统的功能框图。

图10示出了根据本公开的一个方面的一种方法。

图11示出了可以由源终端编码的全向视频帧。

图12示出了在本公开的一个方面中，可以通过图10的方法操作图11的示例性视口数据获得的移位帧。

图13示出了在本公开的另一个方面中，可以通过图10的方法操作图11的示例性视口数据获得的移位帧。

图14至图16示出了适用于本公开技术的示例性多向图像格式。

具体实施方式