[发明专利]一种动态点云几何信息压缩率失真优化方法及装置

说明书

本发明公开了一种动态点云几何信息压缩率失真优化方法及装置，针对基于视频的动态点云编码率失真优化过程中，失真模型与点与几何信息质量评估准则不一致的问题，基于点到面误差对现有的率失真优化方法进一步优化。所述方法包括：获取三维动态点云视频分解后的几何图像的原始深度信息以及使用现有率失真优化方法编码得到的几何图像的重构深度信息；基于获取到的原始深度信息和重构深度信息，计算几何图像中原始点所在平面的法向量与该原始点的投影方向之间的估计角度θ；利用计算得到的估计角度θ，优化现有率失真优化方法中几何图像的重构点到原始点所在平面距离误差的编码。本发明能够提升计算几何信息的失真的精确度。

技术领域

本发明涉及一种动态点云几何信息压缩率失真优化方法及装置，属于点云 处理技术领域。

背景技术

点云定义为一组三维点，其中每个点都表示为三维坐标和特定属性(例如 颜色)。随着三维捕捉技术的发展，点云在虚拟现实、沉浸式临场感、移动地图 和三维打印等应用中得到了广泛的应用。点云的一个典型用途是在虚拟现实和 身临其境的临场感中表现人类的全息图像。我们称之为动态点云。这些使用动 态点云的应用程序生成了大量的数据。对于每帧有一百万个点的未压缩动态点 云，其比特率将达到180MB/s，因此动态点云的压缩成为这些新兴3D系统的关 键部分。

由于动态点云表示连续移动的对象，因此其中的连续帧通常具有很强的时 间冗余。近年来，运动估计(ME)和运动补偿(MC)被用于减少时间冗余。 具体来说，运动估计和运动补偿是在3D立方体或2D区块上执行的。然而，点 云具有不规则的划分，使得连续静态点云(SPC)帧中的某些点可能没有明确的 对应关系。因此，基于3D-ME的方法不能充分利用时间相关性。为了更好地保 持时间相关性，基于2D-ME的方法尝试将3D点云投影到2D空间，如圆柱体 和立方体面，然后将投影的样本组织成2D视频进行视频压缩。然而，这些方法 可能会因为遮挡而丢失大量的点。

为了提高保持时间相关性的能力和增加投影点的数量，提出了一种将动态 点云转换为2D视频的补丁投影方法。具体来说，根据法线的相似性，将输入动 态点云分解成多个面片。基于占据地图，这些补丁分别被组织成几何视频和属 性视频。然后，使用现有的视频编解码器，如高效视频编码(HEVC)，对占据 地图和生成的视频进行压缩。这种方法称为基于视频的动态点云压缩(V-PCC)。 由于它可以在保持时间相关性的能力和投影点的数量之间实现更好的权衡，所 以它是高效视频编码征集动态点云压缩提案的优胜者，然后被集成到MPEG V-PCC参考软件TMC2。

在基于视频的动态点云压缩的基础上，补丁填充、运动估计和率失真优化 能够进一步提高了压缩性能。然而，现有的基于视频的动态点云压缩视频编解 码器最初是针对图像信号而设计的，未能充分考虑点云的特性。具体来说，现 有率失真优化中的失真模型无法精确计算几何信息的失真，现有的率失真优化 中，失真是根据重构信号与原始信号之间的距离来计算的。然而，几何的客观 质量是根据重建点与参考点云中对应点(最近邻点)之间的距离来衡量的，由 于重建点与参考点云中的对应点不一定相匹配，从而使得失真模型与整体几何 度量不一致。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种动态点云几何信息压 缩率失真优化方法及装置，能够加强动态点云几何信息失真的精确度。为达到 上述目的，本发明是采用下述技术方案实现的：

第一方面，本发明提供了一种动态点云几何信息压缩率失真优化方法，包 括：

获取三维动态点云视频分解后的几何图像的原始深度信息以及使用现有率 失真优化方法编码得到的几何图像的重构深度信息；

基于获取到的原始深度信息和重构深度信息，计算几何图像中原始点所在 平面的法向量与该原始点的投影方向之间的估计角度θ；其中，所述该原始点的 投影方向为：该原始点在几何图像的中深度信息的取值方向；