[发明专利]一种处理视频数据的方法、设备及计算机可读存储介质

说明书

一种处理视频数据的方法包含：接收360度视频数据；接收指示所述360度视频数据的优选感兴趣区域或优选视点的一或多个第一语法元素；接收指示用于呈现所述优选感兴趣区域或优选视点的优选呈现操作的一或多个第二语法元素；及基于所述优选呈现操作而呈现所述360度视频数据。

本申请主张2016年12月19日提交的第62/436,245号美国临时申请的权益，所述申请的全部内容以引用的方式并入本文中。

技术领域

本公开涉及虚拟现实(VR)视频，例如360度视频的处理及传输。

背景技术

数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式传输装置等。数字视频装置实施视频译码技术，例如描述于以下标准中的那些技术：由MPEG-2、MPEG-4、ITU-T H.263、ITU-TH.264/MPEG-4第10部分高级视频译码(AVC)、也称为高效视频译码(HEVC)的ITU-T H.265定义的标准，及此类标准的扩展。视频装置可通过实施这些视频译码技术而更有效率地传输、接收、编码、解码及/或存储数字视频信息。

视频译码技术包含空间(图片内)预测及/或时间(图片间)预测以减少或移除视频序列中固有的冗余。对于基于块的视频译码，视频切片(例如，视频帧或视频帧的一部分)可分割成视频块，针对一些技术，视频块还可称为树块、译码单元(CU)及/或译码节点。使用相对于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中的视频块进行编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可称为帧，且参考图片可称为参考帧。

空间或时间预测产生待译码块的预测性块。残余数据表示待译码原始块与预测性块之间的像素差。经帧间译码块根据指向形成预测性块的参考样本块的运动向量及指示经译码块与预测性块之间的差的残余数据来编码。经帧内译码块根据帧内译码模式及残余数据来编码。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变换系数，可接着量化所述残余变换系数。可扫描最初布置成二维阵列的经量化变换系数，以便产生变换系数的一维向量，且可应用熵译码以实现甚至更多压缩。

近年来，已开发用于译码及传输360度视频(例如，对于VR应用)的技术。由于VR视频技术的最新发展，用户所体验的视频环境已变得与视频本身的主题一样重要。此种VR视频技术可使用360度视频技术，所述360度视频技术涉及360度视频图形的实时流式传输及/或360度视频从360度摄像机或网站实时流式传输到实时视频显示器，例如，VR头戴式显示器。VR HMD允许用户通过转头改变视角来体验在其周围发生的动作。为了创建360度视频，可使用一组特殊的相机同时记录场景的全部360度，或多个视图(例如，视频及/或计算机产生的图像)可拼接在一起以形成图像。

在已对视频数据进行编码之后，可将视频数据包化以用于传输或存储。视频数据可汇编到符合多种标准中的任一者，例如国际标准化组织(ISO)基础媒体文件格式及其扩展，例如AVC文件格式的视频文件中。

发明内容

本公开大体上描述与虚拟现实(VR)视频中的感兴趣区域或视点的译码(例如，编码或解码)有关的技术。在一些实例中，本公开描述用于用信号表示虚拟现实视频(例如，360度视频)中的优选感兴趣区域(ROI)或优选视点的优选或优先化呈现操作的技术。此种优选呈现操作可用于调整优选ROI或视点(例如，在导演的3D视频剪辑中)以适合用户显示器的大小及/或纵横比的情况。