[发明专利]用于虚拟边界的环内滤波的方法和设备

说明书

公开了用于虚拟边界的环内滤波的方法和设备。具体地，公开了对包含一个或更多个虚拟边界的图像(例如360度虚拟现实(VR360)视频)进行编解码的方法和设备。根据该方法，接收与当前重建后像素的环路滤波器相关联的重建后滤波单元。向当前重建后像素应用与环路滤波器相关联的环路滤波处理，以生成已滤波重建后像素，其中，如果当前重建后像素的环路滤波处理跨该图像的虚拟边界，则在使用固定尺寸环路滤波时禁用环路滤波处理，或者在将自适应尺寸环路滤波用于当前重建后像素时选择较小尺寸的环路滤波器，其中，当禁用环路滤波处理时，已滤波重建后像素和当前重建后像素相同。

技术领域

本发明涉及对包含一个或更多个虚拟边界的图像(例如360度虚拟现实(VR360)图像)进行图像处理。特别地，本发明涉及对于包含一个或更多个虚拟边界的图像(例如VR360视频编解码)，在不连续边界或虚拟边界(在本申请中，不连续边界可称为虚拟边界)处进行环内滤波处理(in-loop filtering process)。

背景技术

360度视频(也称为沉浸式视频(immersive video))是一项新兴的技术，该技术可以提供“当下的感觉(feeling as sensation of present)”。通过利用覆盖全景的环绕场景(特别是360度视野)包围用户来实现沉浸感。立体呈现可以进一步改善“当下的感觉”。因此，将全景视频广泛用于虚拟现实(VR)应用中。

可以使用360度球形全景摄像机，或者被设置成覆盖环绕360度的所有视野的多张图像来捕获360度虚拟现实(VR)图像。三维(3D)球形图像很难使用常规的图像/视频处理装置来进行处理或存储。因此，通常使用3D到2D投影方法(例如等距矩形(EquiRectangular)投影(ERP)和立方体贴图(CubeMap)投影(CMP))将360度VR图像转换成二维(2D)格式。除了ERP和CMP投影格式外，还有各种其它的VR投影格式，例如OctaHedron投影(OHP)、二十面体投影(ISP)、分段球形投影(SSP)和旋转球形投影(RSP)在本领域中是广泛使用的。

与常规的2D视频序列相比，VR360视频序列通常需要更多的存储空间。因此，通常将视频压缩应用于VR360视频序列，以减少用于存储的存储空间或用于流播/传输的比特率。

高效视频编解码(HEVC)标准是在ITU-T视频编解码专家组(VCEG：Video CodingExperts Group)和ISO/IEC运动图像专家组(MPEG：Moving Picture Experts Group)标准化组织的联合视频项目下开发的，尤其是具有称为视频编解码联合协作团队(JCT-VC：joint Collaborative Team on Video Coding)的合作关系。可以使用HEVC对VR360视频序列进行编解码。然而，本发明也可以适用于其它编解码方法。

在HEVC中，将一个片段分区为多个编码树单元(CTU：coding tree unit)。对于彩色图像，可以将彩色片段分区成多个编码树块(CTB:coding tree block)。将CTU进一步分区成多个编码单元(CU：coding unit)，以适应各种局部特征。HEVC支持多种帧内(Intra)预测模式，并且对于帧内编码的CU，用信号通知所选择的帧内预测模式。除了编码单元的概念，HEVC中还引入了预测单元(PU：prediction unit)的概念。一旦进行了CU层次树的拆分后，根据预测类型和PU分区，将各个叶级CU进一步拆分成一个或更多个预测单元(PU)。在预测之后，将与CU相关联的残余项(residue)分区成变换块，命名为用于变换处理的变换单元(TU)。