[发明专利]自适应点云属性编解码的方法和装置

说明书

一种自适应点云属性的编解码方法，包括：获取点云数据中当前点的属性；获取所述属性的多个候选预测值，所述候选预测值包括以下中的任一个或任意组合：从所述当前点分别到所述点云数据中多个其它点的多个距离的加权平均值、从所述当前点到所述其它点中的第一最近点的第一距离的第一预测值，以及从所述当前点到所述其它点中除所述第一最近点之外的第二最近点的第二距离的第二预测值。所述方法还包括：使用率失真优化，从所述多个候选预测值中为所述属性选择一个候选预测值；及为解码器设置一标志，所述标志指示所述多个候选预测值是否包括所述加权平均值。

相关申请

本申请要求2019年3月26日提交的第62/824,262号美国临时申请的优先权、以及2020年3月19日提交的第16/823,563号美国申请的优先权，所述申请以全文引用方式并入本申请。

背景技术

领域

各实施例的方法和装置涉及基于图的点云压缩(graph-based point cloudcompression，G-PCC)，具体涉及自适应点云属性编解码的方法和装置。

相关技术

世界的高级三维(3D)表示使更加沉浸式的交互和通信成为可能，并且还使机器能够理解、解释并遨游世界。3D点云(point cloud)已经成为实现此类信息的代表。目前已经发现了与点云数据相关联的多个用例，并且已经开发了对点云表示和压缩的相应要求。

点云是3D空间中的一组点，每个点具有相关联的属性，例如颜色、材料属性等。点云可用于将对象或场景重建为这种点的集合。可以在各种环境中使用多个照相机和深度传感器来获得点云，点云可以由数千到数十亿个点组成，能够真实地表示重建的场景。

需要使用压缩技术来减少用于表示点云的数据量。因此，需要针对实时通信和六自由度(six degrees of freedom，6DoF)虚拟现实中的点云进行有损压缩的技术。此外，在用于自主驾驶和文化遗产应用等的动态绘图的场景中，需要对点云进行无损压缩的技术。运动图像专家组(Moving Picture Experts Group，MPEG)已经开始研究一种处理几何和属性的压缩标准，属性可包括例如颜色和反射率、可缩放/渐进编解码、跨越一定时间获得的点云序列的编解码，以及对点云的子集的随机访问。

图1是G-PCC中生成多细节层次(levels of detail，LoD)的方法的示意图。

如图1所示，在当前的G-PCC属性编解码中，基于每个3D点(例如，P0-P9)的距离生成每个3D点的LoD组100，然后以基于3D点的LoD的顺序110，而不是原始顺序105，进行预测来对每个LoD中的3D点的属性值进行编码。例如，通过计算编码或解码顺序在3D点P2之前的3D点P0、P5和P4的基于距离的加权平均值来预测3D点P2的一个属性值。

G-PCC中一种当前的锚定方法如下。

首先，计算3D点的邻居的变化率(variability)，以检查相邻值的差异程度，并且如果变化率低于阈值，则使用基于当前点i的一些最近相邻点的距离的线性插值过程来预测属性值(a_i)_i∈0…k-1，从而进行基于距离的加权均值预测的计算。设为当前点i的k个最近相邻点的集合，设为这些相邻点的已解码/已重建的属性值，并设为它们到当前点i的距离。则预测的属性值由下式给出：

注意，当对属性进行编码时，所有点云的几何位置已知。另外，在编码器和解码器处，各相邻点连同它们的已重建的属性值都可用作k维的树结构，该k维树结构用于支持以相同方式对每个点进行最近相邻点搜索。