[发明专利]使用面部连续性的360度视频编码

说明书

编码设备(作为示例该设备可以是或者可以包括编码器和/或解码器)可以接收360度视频的帧封装画面。该编码设备可以识别帧封装画面中当前块所属的面部。该编码设备可以确定当前块位于当前块所属的面部的边界。编码设备可以识别当前块的多个球形相邻块。编码设备可以识别跨面部边界相邻块。编码设备可以识别帧封装画面中与跨面部边界相邻块相对应的块。编码设别可以基于所识别的块的可用性来确定是否使用所识别的块来编码当前块。编码设备可以基于使用所识别的块的确定来编码当前块。

相关申请的交叉引用

本申请要求享有2017年04月11日提交的美国临时申请序列号62/484,218以及2017年06月28日提交的美国临时申请序列号62/525,880的权益，所述申请的内容在这里被引入以作为参考。

背景技术

虚拟现实(VR)已经开始进入我们的日常生活。例如，VR在不同领域中具有诸多应用，这些领域包括但不局限于医疗保健、教育、社交网络、行业设计/培训、游戏、电影、购物和/或娱乐。VR可以增强观看者的体验，例如通过创建围绕观看者的虚拟环境以及为观看者产生真正的“身临其境”感。作为示例，用户体验可以依赖于在VR环境中提供完整的真实感觉。例如，VR系统可以通过姿态、手势、眼睛注视和/或语音来支持交互。VR系统可以向用户提供触觉反馈，以便允许用户以自然的方式来与VR世界中的对象进行交互。例如，VR系统可以使用360度视频来为用户提供从水平方向的360度角和/或垂直方向上的180度角观看场景的能力。

发明内容

一种编码设备(例如可以是或者可以包括编码器和/或解码器的设备)可以接收360度视频的帧封装画面。该帧封装画面可以包括多个面部以及当前块。该编码设备可以识别帧封装画面中当前块所属的面部。该编码设备可以确定当前块位于当前块所属面部的离开(exiting)边界。作为示例，编码设备可以依照帧封装画面的编码顺序来确定当前块位于当前块所属面部的离开边界。当前块所属面部的离开边界所在的方向可以和与当前块相对的编码顺序相同。

帧封装画面可以以某种编码顺序来编码。在示例中，编码顺序可以具有和关联于帧封装画面的当前块相对的从左到右的方向。在示例中，编码顺序可以具有与当前块相对的从顶到底的方向。在示例中，编码顺序可以具有与当前块相对的从左到右和从顶到底的方向。在示例中，如果编码顺序具有与当前块相对的从左到右的方向，那么面部的离开边界可以位于右侧(例如当前块所属面部的最右侧)。在示例中，如果编码顺序具有与当前块相对的从顶到底的方向，那么面部的离开边界可以位于底侧(例如当前块所属面部的最底侧)。在示例中，如果编码顺序具有与当前块相对的从左到右和从顶到底的方向，那么面部的离开边界可以位于当前面部的右侧和底侧(例如当前块所属面部的最右侧和最底侧)。

一旦确定当前块位于当前块所属面部的离开边界，则编码设备可以使用位于与当前块所属面部的离开边界共享边界的面部上的跨面部边界相邻块来编码当前块。例如，编码设备可以识别当前块的多个球形相邻块。作为示例，编码设备可以基于360度视频的球形特征来识别当前块的多个球形相邻块。编码设备可以识别与当前块相关联的跨面部边界相邻块。例如，编码设备可以在所识别的当前块的多个球形相邻块之中识别出跨面部边界相邻块。在示例中，所述跨面部边界相邻块可以位于与当前块所属面部的离开边界共享边界的面部。在示例中，跨面部边界相邻块可以位于当前块所属面部边界的对面，并且其所在方向可以和与当前块相对的编码顺序相同。

编码设备可以确定是否使用跨面部边界相邻块来对当前块进行编码。例如，与跨面部边界相邻块相对应的帧封装画面中的块可以被识别。与跨面部边界相邻块相对应的帧封装画面中的块可以是基于360度视频的帧封装信息识别的。编码设备可以基于和与跨面部边界相邻块相对应的的帧封装画面中的被识别的块的可用性来确定是否使用所述帧封装画面中的被识别的块编码所述当前块。例如，帧封装画面中的被识别的块的可用性可以基于所述被识别的块是否已被编码来确定。编码设备可以基于该确定来使用帧封装画面中的被识别的块编码当前块，并且可以使用与跨面部边界相邻块相对应的被识别和可用的块来编码当前块。