[发明专利]用于基于视频的点云压缩的图块化

说明书

一种用于点云编码的方法，包括：为三维(3D)点云生成包括表示关于3D点云的信息的像素的视频帧和图谱帧，其中，图谱图块表示图谱帧中的分区并且视频图块表示视频帧中的分区。所述方法还包括根据视频图块的尺寸与图谱图块的尺寸之间的关系来设置语法元素的值。所述方法还包括对视频帧和图谱帧进行编码以生成视频子比特流和图谱子比特流。另外，所述方法包括基于图谱子比特流、视频子比特流和语法元素生成比特流。

技术领域

本公开总体上涉及多媒体数据。更具体地，本公开涉及用于对点云进行压缩和解压缩的设备和方法。

背景技术

由于强大的手持装置(诸如智能电话)的随时可用性，三百六十度(360°)视频正在成为体验沉浸式视频的新方式。360°视频通过捕获世界的360°视图为消费者提供了沉浸式“真实生活”、“身临其境”的体验。用户可交互地改变他们的视点并动态地查看他们期望的捕获场景或对象的任何部分。显示和导航传感器可实时跟踪用户的头部移动以确定用户想要观看的360°视频的区域。本质上是三维(3D)的多媒体数据(诸如点云)可在沉浸式环境中被使用。

点云是3D空间中表示对象的一组点。点云常见于各种应用(诸如游戏、3D地图、可视化、医疗应用、增强现实、虚拟现实、自主驾驶、多视点重放、6自由度(6DOF)沉浸式媒体，仅举几例)。如果未压缩，则点云通常需要大量带宽用于传输。由于高比特率要求，点云通常在传输之前被压缩。压缩3D对象(诸如点云)通常需要专用硬件。为了避免专用硬件来压缩3D点云，3D点云可被操作到可在不同装置上被压缩和重建的传统二维(2D)视频帧上，以便由用户观看。

发明内容

技术方案

本公开提供了用于基于视频的点云压缩的图块化的指示。

在一个实施例中，提供了一种用于点云编码的编码装置。所述编码装置包括处理器和通信接口。所述处理器被配置为针对三维(3D)点云生成包括表示关于3D点云的信息的像素的视频帧和图谱帧。图谱图块表示图谱帧中的分区并且视频图块表示视频帧中的分区。所述处理器被配置为根据视频图块的尺寸与图谱图块的尺寸之间的关系来设置语法元素的值。所述处理器被配置为对视频帧和图谱帧进行编码以分别生成视频子比特流和图谱子比特流。所述处理器被配置为基于图谱子比特流、视频子比特流和所述语法元素生成比特流。所述通信接口被配置为发送比特流。

在另一实施例中，提供了一种用于点云编码的方法。所述方法包括针对三维(3D)点云生成包括表示关于所述3D点云的信息的像素的视频帧和图谱帧。图谱图块表示图谱帧中的分区并且视频图块表示视频帧中的分区。所述方法还包括根据视频图块的尺寸与图谱图块的尺寸之间的关系来设置语法元素的值。另外，所述方法还包括对视频帧和图谱帧进行编码以分别生成视频子比特流和图谱子比特流。所述方法还包括基于图谱子比特流、视频子比特流和语法元素生成比特流，并发送比特流。

在又一实施例中，提供了一种用于点云解码的解码装置。所述解码装置包括处理器和通信接口。所述通信接口被配置为接收比特流。所述处理器被配置为从比特流识别表示三维(3D)点云的一个或更多个视频子比特流、图谱子比特流和具有值的语法元素，其中，图谱图块被包括在图谱子比特流中，并且视频图块被包括在视频子比特流中。所述处理器被配置为从所述语法元素的值识别所述一个或更多个视频子比特流中的视频图块的尺寸与图谱子比特流中的图谱图块的尺寸之间的关系。所述处理器被配置为基于视频图块和图谱图块对部分视频子比特流和部分图谱子比特流进行解码，以生成部分视频帧和部分图谱帧。所述处理器被配置为基于所述部分视频帧和所述部分图谱帧来重建部分所述点云。

附图说明

为了更完整地理解本公开及其优点，现在结合附图参考以下描述，其中相同的附图标记表示相同的部分：

图1示出根据本公开的实施例的示例通信系统；

图2和图3示出根据本公开的实施例的示例电子装置；

图4a示出根据本公开的实施例的示例3D点云；