[发明专利]通道间点云属性解码方法、装置以及可读存储介质

说明书

一种通道间点云属性解码方法、装置和可读存储介质。该方法包括：从视频数据获得第一重建的残差；获得第二重建的残差的量化索引；基于所述第二重建的残差的量化索引和所述第一重建的残差，获得所述第二重建的残差；以及通过对所述第二重建的残差进行解码，或通过基于所述第二重建的残差对变换残差进行解码，重建点云的点的颜色属性。

本申请要求2019年7月5日提交的第62/871,081号美国临时申请以及2020年6月30日提交的第16/917,107号美国正式申请的优先权，所述两个申请的公开内容通过引用整体并入本文。

技术领域

本申请涉及视频编码和解码，特别是涉及一种通道间点云属性解码方法、装置以及可读存储介质。

背景技术

对这个世界的高级三维(3D)表示，使得更多沉浸式的互动和交流形式成为可能，并且也使机器可以理解、解读和导航我们这个世界。3D点云已经成为此类信息的一种表示。目前人们已经确定出与点云数据相关联的多个用例，并且已经开发出点云表示和压缩的相应要求。

点云是3D空间中的一组点，每个点都具有相关联的属性，例如，颜色、材质。点云可以用于将一个对象或一个场景重建为这种点的组合。点云可以用各种设置中的多个相机和深度传感器进行采集，并且可由数千个点甚至数十亿个点组成，以逼真地表示重建的场景。

减少用于表示一个点云所需的数据量，需要使用压缩技术。因此，需要有对实时通信和六自由度(6DoF)虚拟现实中使用的点云的有损压缩的技术。另外，人们也在寻求在自主驾驶应用和文化遗产应用等的动态映射上下文中使用的无损点云压缩的技术。运动图片专家组(Moving Picture Experts Group，MPEG)已经开始致力于开发标准，用于处理几何结构和属性(例如，颜色和反射率)的压缩、可缩放/渐进式编码、随时间采集的点云序列的编码、以及对点云子集的随机访问。

图1A是在基于图片的点云压缩(Graph-based Point Cloud Compression，G-PCC)中生成细节级别(Level of Detail，LOD)的方法示意图。

参考图1A所示，在当前的G-PCC属性编码中，基于每个3D点(例如，P0-P9)的距离，生成每个3D点的LoD(即，一组点)，然后通过按3D点的基于LoD的顺序110、而不是按3D点的原始顺序105应用预测，对每个LoD中的3D点的属性值进行编码。例如，3D点P2的属性值是通过计算3D点P0、P5和P4(在3D点P2之前编码或解码)的基于距离的加权平均值来预测。

G-PCC中的当前锚定方法如下进行。

首先，计算3D点的邻域的变化性，以检查不同的相邻点值的差异程度，如果其邻域的变化性低于一个阈值，则使用基于当前点i的最近相邻点的距离的线性插值过程，通过预测属性值(a_i)_i∈0...k-1来进行基于距离的加权平均预测的计算。假设是当前点i的一组k-最近相邻点，假设是它们的已解码/重建的属性值，假设是它们到当前点i的距离。然后预测的属性值通过下式得到：

请注意，当对属性进行编码时，所有点云的几何位置都已经可用。另外，相邻点及它们的重建的属性值在编码器和解码器两者处均作为k维树结构可用，所述k维树结构用于以相同的方式便于每个点的最近邻搜索。

其次，如果所述3D点的邻域的变化性高于所述阈值，则执行速率失真优化(Rate-distortion Optimized，RDO)预测器选择。基于在生成LoD过程中的相邻点搜索的结果，创建多个预测器候选或候选预测值。例如，当通过使用预测，对3D点P2的属性值进行编码时，将3D点P2分别到3D点P0、P5和P4的距离的加权平均值，设置为等于0的预测器索引。然后，将3D点P2到最近相邻点P4的距离设置为等于1的预测器索引。而且，如下表1所示，将3D点P2分别到接下来最近相邻点P5和P0的距离，设置为等于2和3的预测器索引。