[发明专利]点云全局方块打包

说明书

本申请公开了点云全局方块打包。本文中描述了一种将3D点云数据映射到2D表面中以用于进一步的高效时间编码的方法。点云全局方块打包利用3D表面贴片来表示点云，并且实施3D贴片表面数据到2D画布图像中的时间一致全局映射。

相关申请的交叉引用

本申请在35U.S.C.§119(e)下要求2019年3月18日提交的标题为“POINT CLOUDGLOBAL TETRIS PACKING(点云全局方块打包)”的美国临时专利申请序列号62/819,856的优先权，该申请出于所有目的通过引用的方式被全文合并在本文中。

技术领域

本发明涉及三维图形。更具体来说，本发明涉及三维图形的编码。

背景技术

点云被考虑作为用于3D数据的传输的候选格式，该3D数据由3D扫描仪、LIDAR传感器捕获，或者被使用在比如虚拟现实/增强现实(VR/AR)之类的受欢迎的应用中。点云是3D空间中的点集合。除了空间位置(X,Y,Z)之外，每一个点通常具有相关联的属性，比如颜色(R,G,B)或者甚至反射率和时间标记(例如在LIDAR图像中)。为了获得目标3D对象的高保真表示，设备捕获大约数以千计或百万计的点的点云。此外，对于使用在VR/AR应用中的动态3D场景，每一帧常常具有独有的稠密点云，从而导致每秒传输几百万个点云。对于这样大的数据量的可行传输，常常应用压缩。

在2017年，MPEG发出了针对点云压缩的提议征集(CfP)。在评估了几项提议之后，MPEG对于点云压缩正在考虑两种不同的技术：3D原生编码技术(基于八叉树和类似的编码方法)，或者3D到2D投影，随后是传统的视频编码。在动态3D场景的情况下，MPEG正在使用基于贴片表面建模的测试模型软件(TMC2)，从3D到2D图像的贴片投影，以及利用比如HEVC之类的视频编码器对2D图像进行编码。该方法已被证明比原生3D编码更加高效，并且能够以可接受的质量实现具有竞争力的比特率。

在对点云进行编码时，TMC2对贴片投影的相关辅助信息进行编码，比如2D画布图像中的贴片位置和边框尺寸。对于辅助信息的时间编码，来自当前点云的贴片与来自即刻解码的点云的贴片之间的贴片匹配被用于预测。该规程被限制到紧接的邻域，并且包括对于序列中的所有帧实施增量编码。

发明内容

本文中描述了一种将3D点云数据映射到2D表面中以用于进一步的高效时间编码的方法。点云全局方块打包利用3D表面贴片来表示点云，并且实施3D贴片表面数据到2D画布图像中的时间一致全局映射。

在一个方面中，一种被编程在设备的非瞬时性存储器中的方法包括：实施贴片匹配以确定匹配贴片，生成与匹配贴片的双向链表，以及根据匹配贴片计算累积占位图和每一个贴片的权重。实施贴片匹配包括对贴片进行比较并且确定贴片是否具有高于阈值的相似度的图像处理。该双向链表表明是否存在与前向贴片和/或后向贴片的匹配。计算累积占位图是通过对匹配贴片进行取或而生成。计算累积占位图包括对准贴片的边框。计算每一个贴片的权重是基于是否存在后向匹配贴片和前向匹配贴片的权重。该方法还包括基于贴片排序算法对包括匹配贴片的贴片进行排序。贴片排序算法是基于游程长度、贴片尺寸以及对于匹配贴片使用先前帧的顺序。

在另一方面中，一种装置包括：用于存储应用的非瞬时性存储器，该应用用于实施贴片匹配以确定匹配贴片、生成与匹配贴片的双向链表以及根据匹配贴片计算累积占位图和每一个贴片的权重；以及耦合到该存储器的处理器，该处理器被配置来处理该应用。实施贴片匹配包括对贴片进行比较并且确定贴片是否具有高于阈值的相似度的图像处理。该双向链表表明是否存在与前向贴片和/或后向贴片的匹配。计算累积占位图是通过对匹配贴片进行取或而生成。计算累积占位图包括对准贴片的边框。计算每一个贴片的权重是基于是否存在后向匹配贴片和前向匹配贴片的权重。该应用还用于基于贴片排序算法对包括匹配贴片的贴片进行排序。贴片排序算法是基于游程长度、贴片尺寸以及对于匹配贴片使用先前帧的顺序。