[发明专利]用于360度视频译码的参考图片推导及运动补偿

说明书

本发明描述用于从360度视频数据的立方体贴图投影或经调整立方体贴图投影产生用延伸面封装的参考帧的技术。用所述延伸面封装的所述参考帧可用于360度视频数据的后续帧的帧间预测。

本申请案要求保护2017年7月3日申请的美国临时申请案第62/528,347号及2018年7月2日申请的美国申请案第16/025,729号的权利，所述申请案的全部内容以引用的方式并入本文中。

技术领域

本发明涉及编码及解码视频数据。

背景技术

数字视频能力可并入至广泛范围的装置中，所述装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或台式计算机、平板计算机、电子书阅读器、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏主控台、蜂窝或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式发射装置，及其类似者。数字视频装置实施视频译码技术，诸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4、Part 10、先进视频译码(AVC)、ITU-T H.265(也被称作高效率视频译码(HEVC))所定义的标准及这些标准的延伸中所描述的视频译码技术。视频装置可通过实施这些视频译码技术来更高效地发射、接收、编码、解码及/或存储数字视频信息。

视频译码技术包含空间(图片内)预测及/或时间(图片间)预测以缩减或移除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(例如，视频图片或视频图片的部分)分割成视频块，视频块也可被称作译码树单元(CTU)、译码单元(CU)及/或译码节点。图片的经帧内译码(I)切片中的视频块是使用相对于同一图片中的相邻块中的参考样本的空间预测予以编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。

最近，已开发出用于译码及发射例如用于虚拟现实(VR)应用的360度视频的技术。由于VR视频技术的新近开发，由用户体验的视频环境已变得与视频自身的主题同样重要。此VR视频技术可使用360度视频技术，360度视频技术涉及从360度视频相机或网站至实时视频显示器(诸如VR头戴式显示器(HMD))的360度视频图形的实时流式发射及/或360度视频的实时流式发射。VR HMD允许用户通过随着头部的转动而改变视角来体验其周围发生的所有动作。为了建立360度视频，可使用特殊一组相机以同时地记录所有360度的场景，或可将多个视图(例如，视频及/或计算机产生图像)拼接在一起以形成图像。

在已编码视频数据之后，可包化视频数据以供发射或存储。可将视频数据组译成符合多种标准中的任一者的视频文件，所述标准是诸如国际标准化组织(ISO)基本媒体文件格式及其延伸，诸如AVC文件格式。

发明内容

一般来说，本发明涉及用于编码及解码视频数据的技术。在一些实例中，本发明描述用于360度视频译码的参考图片推导及运动补偿技术。在一些实例中，本发明描述用于从360度视频数据的立方体贴图投影或经调整立方体贴图投影产生用延伸面封装的参考帧的技术。用延伸面封装的参考帧可用于360度视频数据的后续帧的帧间预测。通过产生具有延伸面的参考帧，可减轻由封装面之间的边界处的变形及不连续性引起的失真及译码效率问题。

在一个实例中，本发明描述一种解码360度视频数据的方法，所述方法包括：接收360度视频数据的经编码帧，360度视频数据的所述经编码帧是以从所述360度视频数据的球体的投影获得的封装面而布置；解码经编码360度视频数据的所述帧以获得360度视频数据的经解码帧，360度视频数据的所述经解码帧是以所述封装面而布置；从360度视频数据的所述经解码帧推导360度视频数据的经解码球体；使用所述投影对360度视频数据的所述经解码球体进行取样以产生延伸面，其中所述延伸面大于360度视频数据的所述经解码帧的所述封装面；从所述延伸面推导延伸参考帧；及使用帧间预测过程及所述经推导延伸参考帧解码360度视频数据的后续经编码帧。