[发明专利]用于编码/解码表示3D对象的几何形状和颜色的有色点云的方法和装置

说明书

本原理涉及一种用于编码表示3D对象的几何形状和颜色的输入有色点云的方法和设备。该方法包括：‑根据点云在基于八叉树的投影结构的至少一个立方体(C_j)的至少一个面(F_i,j)上的至少一个正交投影，选择(100)所述至少一个面；和‑通过将包括在所述立方体(C_j)中的点云的一部分正交投影到所选择的面(F_i,j)上，编码(120、130)立方体(C_j)的每个选择的面(F_i,j)的一对图像：一个纹理图像(TI_i,j)和一个深度(DI_i,j)图像。

技术领域

本原理一般涉及表示3D对象的几何形状和颜色的有色点云的编码和解码。特别地，但非排他性地，本原理的技术领域涉及使用纹理和深度投影方案的3D图像数据的编码/解码。

背景技术

本部分旨在向读者介绍本领域的各个方面，这些方面可能与以下描述和/或要求保护的本原理的各个方面有关。认为该讨论有助于向读者提供背景信息，以有助于更好地理解本原理的各个方面。因此，应该理解的是，要鉴于此阅读这些陈述，而不是作为对现有技术的承认。

点云是一组点，通常旨在表示3D对象的外部表面，但也可能是更复杂的几何形状，其可能无法通过其他数据格式(如，网格)有效地表示，如头发，皮毛。点云的每个点经常由3D空间位置(3D空间中的X，Y和Z坐标)定义，并且也可能由其他相关联的属性定义，，例如，诸如以RGB或YUV颜色空间表示的颜色透明度、反射率，两分量法向矢量等。

在下文中，考虑有色点云，即一组6分量点(X，Y，Z，R，G，B)或等效地(X，Y，Z，Y，U，V)，其中(X，Y，Z)定义3D空间中的点的空间位置，并且(R，G，B)或(Y，U，V)定义该点的颜色。

取决于云是否关于时间演进有色点云可以是静态的或者是动态的。应当注意，在动态点云的情况下，点的数量不是恒定的，相反，一般随时间演进。由此动态点云是多组点的按时间顺序的列表。

实际上，有色点云可用于各种目的，诸如，文化遗产/建筑物，其中以3D扫描如雕像或建筑物的对象，以便共享对象的空间配置而无需发送或访问它。另外，在对象可能被破坏的情况下，它是确保保留对象的知识的方式；例如遭受地震的庙宇。这种有色点云典型是静态的且巨大。

另一使用情况是在地形和地图投影中，其中通过使用3D表示，地图不限于平面而且可以包括起伏(relief)。

汽车工业和自动驾驶汽车也是可以使用点云的领域。自动驾驶汽车应该能够“探测”其环境，从而基于其紧接相邻的现实做出安全驾驶决策。典型的传感器产生由决策引擎使用的动态点云。这些点云不意图由人类查看。它们典型很小，不一定是有色的，而是高捕获频率动态的。它们可能具有其他属性，如反射率，反射率是与感测对象的物理表面的材料的相关的有价值的信息并且可能有助于决策。

虚拟现实(VR)和沉浸式世界最近已成为热门话题，并被很多人预见为2D平板视频的未来。基本构思是让观看者沉浸在环绕其的周围环境中，而不是只能观看他前面的虚拟世界的标准电视。取决于环境中观察者的自由度，沉浸性有若干等级。有色点云是分发VR世界的良好格式候选。它们可以是静态的或动态的，并且典型具有平均尺寸，例如一次不超过几百万个点。

仅当比特流的尺寸足够小以允许实际存储/传输给最终用户时，点云压缩才能成功存储/传输3D对象用于沉浸式世界。

同样关键的是，能够以合理的带宽消耗将动态有色点云分发给最终用户，同时保持可接受的(或优选是非常好的)体验质量。与视频压缩相似，良好地使用时间相关性被认为是将导致动态点云的有效压缩的关键元素。