[发明专利]使用非正交投影的点云压缩

说明书

一种操作用于点云解码的解码设备的方法，包括接收压缩比特流。该方法还包括将压缩比特流解码成表示三维(3‑D)点云的二维(2‑D)帧。2‑D帧中的每一个包括补片集合，并且每个补片包括3‑D点云中的点的聚类。点的聚类对应于与3‑D点云相关联的属性。补片集合中的一个补片、补片集合和2‑D帧对应于表示3‑D点云的各个访问级别。该方法还包括识别第一标志和第二标志。响应于识别到第一标志和第二标志，该方法包括从比特流读取元数据。该方法还包括基于元数据并使用2‑D帧集合来生成3‑D点云。

技术领域

本公开一般涉及多媒体数据的压缩和编码。更具体地，本公开涉及用于压缩和解压缩点云的装置和方法。

背景技术

由于诸如智能电话的功能强大的手持设备随时可用，三百六十度(360°)视频正在成为体验沉浸式视频的一种新方式。360°视频通过捕获世界的360°视图，为消费者带来沉浸式的“真实生活”、“身临其境”体验。用户可以交互地改变他们的视点，并动态地观看他们期望的捕获场景或对象的任何部分。显示和导航传感器实时地跟踪头部移动，以确定用户想要观看的360°视频的区域。360°视频提供三自由度(three Degrees of Freedom，3DoF)沉浸式体验。六自由度(six Degrees of Freedom，6DoF)是沉浸式体验的下一级别，其中用户可以在虚拟/增强环境中转动其头部和四处移动。提供6DoF的体验需要本质上是三维(three-dimensional，3-D)的多媒体数据(诸如点云)。

点云和网格是表示对象或场景的表面模型的3-D点的集合。点云常见于各种应用中，诸如游戏、3-D地图、可视化、医疗应用、增强现实、虚拟现实、自主驾驶、多视图回放、6DoF沉浸式媒体，仅举几例。点云如果不压缩则一般需要大量的带宽用于传输。由于大比特率要求，点云通常在传输前被压缩。点云的压缩硬件和过程不同于用于传统二维(two-dimensional，2-D)多媒体的传统压缩硬件和过程。

发明内容

技术方案

本公开提供使用非正交投影的点云压缩。

在第一实施例中，提供了一种用于点云解码的解码设备。该解码设备包括通信接口和可操作地耦合到通信接口的处理器。通信接口被配置为接收压缩比特流。处理器被配置为将压缩比特流解码成表示三维(3-D)点云的二维(2-D)帧。2-D帧中的每一个包括补片集合，并且补片集合中的每个补片包括3-D点云中的点的聚类。点的聚类对应于与3-D点云相关联的属性。补片集合中的一个补片、补片集合和2-D帧对应于表示3-D点云的各个访问级别。处理器还被配置为识别第一标志是否被包括在压缩比特流中并被设置为真(true)，该第一标志信令通知应用于各个访问级别中的第一访问级别的元数据的修改何时被启用。处理器还被配置为识别第二标志是否被包括在压缩比特流中并被设置为真，该第二标志指示与各个访问级别中的第一访问级别的修改相关联的元数据的存在。响应于识别到第一标志和第二标志被包括在压缩比特流中并被设置为真，处理器被配置为从压缩比特流读取元数据。响应于识别到第一标志或第二标志中的至少一个要么未被包括在压缩比特流中要么被设置为假(false)，处理器被配置为向元数据分配预定参数。处理器还被配置为基于元数据并使用2-D帧集合和元数据来生成3-D点云。

在另一实施例中，提供了一种用于点云编码的编码设备。该编码设备包括处理器和可操作地耦合到处理器的通信接口。处理器被配置为生成表示3-D点云的2-D帧。2-D帧中的每一个包括补片集合，并且补片集合中的每个补片包括3-D点云中的点的聚类。点的聚类对应于与3-D点云相关联的属性。补片集合中的一个补片、补片集合和2-D帧对应于表示3-D点云的各个访问级别。处理器还被配置为生成指示各个访问级别中的一个的修改的元数据。处理器还被配置为生成第一标志和生成第二标志，该第一标志信令通知应用于各个访问级别中的第一访问级别的元数据的修改何时被启用，该第二标志指示与各个访问级别中的第一访问级别的修改相关联的元数据的存在。处理器还被配置为对2-D帧、第一标志、第二标志和元数据进行编码，以生成压缩比特流。通信接口被配置为传输压缩比特流。