[发明专利]处理360度虚拟现实图像的方法和装置

说明书

公开了处理360度虚拟现实图像的方法和装置。根据一种方法，2D(二维)帧被分成多个块。通过将对应于3D球体上的两个相邻块的任何两个块的增量量化参数限制在阈值内，使用量化参数对多个块进行编码或解码。根据另一实施例，将一个或多个保护带添加到一个或多个边缘，所述边缘在2D帧中是不连续的但在3D球体中是连续的。将淡化过程应用于所述一个或多个保护带以产生一个或多个淡化的保护带。在解码器侧，通过裁剪所述一个或多个解码的淡化保护带或通过混合所述一个或多个解码的淡化保护带和重建的复制区域，从解码的扩展2D帧生成重建的2D帧。

【交叉引用】

本申请要求申请日为2017年7月19日，美国临时申请号为62/534，275以及申请日为2018年7月13日，美国申请号为16/034,601的美国申请案的优先权，上述临时申请案的内容一并并入本申请。

【技术领域】

本发明有关于360度虚拟现实(virtual reality，简写为VR)图像的图像处理。更具体来说，本发明有关于通过使用后处理滤波(post-processing filtering)来降低已编码VR图像中的不连续边界处的伪像(artifact)。

【背景技术】

360度视频，也称为沉浸式视频，是一种新兴技术，可以提供“身临其境的感觉(feeling as sensation of present)”。通过对用户围绕覆盖全景视图的环绕场景，特别是360度视野来实现沉浸感。通过立体渲染可以进一步改善“身临其境的感觉”。因此，全景视频被广泛用于虚拟现实(VR)应用中。

沉浸式视频涉及使用多个相机捕获场景以覆盖全景视图，例如360度视野。沉浸式相机通常使用全景相机或一组相机布置来捕捉360度视野。通常，两个或更多个相机用做沉浸式相机。所有视频必须同时拍摄，并记录场景的单独片段(也称为单独的视角)。此外，该组摄像机通常被布置成水平地捕获视图，摄像机也可能是其他布置。

可以使用360度球体形全景相机捕获360度虚拟现实(VR)图像，或者布置多个图像以覆盖360度的所有视野。使用传统的图像/视频处理设备难以处理或存储三维(3D)球体形图像。因此，通常使用3D到2D投影方法将360度VR图像转换为二维(2D)格式。例如，等距离长方圆柱体投影(ERP)和立方体贴图投影(cubemap projection，简写为CMP)一直是常用的投影方法。因此，可以以等距离长方圆柱体投影格式存储360度图像(image)。等距离长方圆柱体投影将球体的整个表面映射到平面图像上。纵轴是纬度，横轴是经度。图1A示出了根据等距离长方圆柱体投影将球体110投射到矩形图像120中的示例，其中每个经度线被映射到ERP图片(picture)的垂直线。图1B示出了ERP图片130的示例。对于ERP投影，球体的北极和南极的区域比赤道附近的区域拉伸得更严重(即，从单个点到线)。此外，由于拉伸引起的失真，特别是在两极附近，预测编码工具经常无法做出良好的预测，导致编码效率降低。图2示出了具有六个面的立方体210，其中可以根据立方体贴图投影将360度虚拟现实(VR)图像投影到立方体上的六个面。有多种方法可以将六个面从立方体上取出(lift the six facesoff the cube)并将它们重新装入矩形图片中。图2所示的例子将六个面分成两个部分(220a和220b)，其中每个部分由三个连接面组成。这两个部分可以展开成两个条带(strip)(230a和230b)，其中每个条带对应于连续的图片。根据如图2所示的一个CMP布局，两个条带可以连接以形成矩形图片240(其中两个条带240a和240b分别对应于条带230a和230b)。然而，由于存在一些空白区域，所以布局不是非常有效。因此，使用紧凑布局250，其中在两个条带(250a和250b)之间存在指示的边界252。但是，图像内容在每个条带内是连续的。