[发明专利]对视频流进行编码的方法、装置、电子设备及存储介质

说明书

本申请实施例提供一种对视频流进行编码的方法、装置、电子设备及存储介质，所述方法包括：获取输入点云；根据所述点云的点生成补丁；将所述补丁打包到图像中；使用Morton代码来平滑所述图像；以及根据所述图像生成所述视频流。

交叉引用

本申请要求于2019年7月3日提交第62/870,648号美国临时申请以及2020年6月29日在美国专利和商标局提交的第16/915,385号美国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本公开涉及一组高级视频编解码技术，具体地涉及基于视频的点云压缩。

背景技术

世界的高级三维(3D)表示正在实现更多的沉浸式交互和通信形式。它们还可以使机器理解、解释和导航我们的世界。已经将点云广泛地用作世界的3D表示。已经识别出了与点云数据相关联的若干用例，并且已经开发了对点云表示和压缩的一些相应要求。

点云可以是3D空间中的一组点，每个点具有相关联的属性，例如颜色、材料属性等。点云可以用于将对象或场景重建为这些点的组合。点云可以在各种设置中使用多个照相机和深度传感器来采集，并且由数千到数十亿个点组成，以便逼真地表示重建的场景。

需要压缩技术来减少表示点云所需的数据量。因此，在实时通信和六自由度(DoF:Degrees of Freedom)虚拟现实中需要使用点云的有损压缩的技术。此外，在自动驾驶和文化遗产应用的动态映射环境中，寻求无损点云压缩技术。MPEG已经开始研究一种标准来解决几何信息(geometry)和属性(例如颜色和反射率)的压缩、可缩放/渐进编解码、随时间采集的点云序列的编解码以及对点云的子集的随机访问。

在传统的点云编解码技术中，可以根据最近邻规则来收集遗漏点，以创建遗漏点补丁。为了使用最近的邻居，编码器可以创建k维(kd:k-dimensional)树，kd树通常不是缓存友好型的。因此，如何提供一种点云编码方法来避免编码器所创建的kd树造成的占用较大高速缓冲存储器，进而造成较大的编解码损失的问题，是当前亟需解决的问题。

所提供的本公开提供了该问题的解决方案。

发明内容

本申请实施例提供一种对视频流进行编码的方法、装置、电子设备及存储介质。

本申请实施例提供的对视频流进行编码的方法包括：获取输入点云；根据所述输入点云的点生成补丁；将所述补丁打包成图像；使用Morton代码平滑所述图像；以及根据所述图像生成所述视频流。

本申请实施例还提供一种对视频流进行编码的装置，包括：获取模块，用于获取点云；第一生成模块，用于根据所述输入点云的点来生成补丁；打包模块，用于将所述补丁打包成图像；平滑模块，用于使用Morton代码来平滑所述图像；以及第二生成模块，用于根据所述图像来生成所述视频流。

本申请实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请实施例所述的方法。

本申请实施例还提供一种非易失性计算机可读介质，存储使用视频点云编解码对视频流进行编码的计算机指令，所述指令在由至少一个处理器执行时，使所述至少一个处理器执行本申请实施例所述的方法。

通过本申请实施例的技术方案，使用莫顿代码来收集丢失的点以创建补丁,由于莫顿代码是缓存友好的，也即占用缓存较小的，并且明显快于Kd树，这样可以以相对较小的编解码损失为代价来实现编码视频流的编解码。

附图说明

根据以下具体实施方式和附图，所公开的主题的其他的特征、性质和各种优点将更加显而易见，其中：

图1是根据实施例的通信系统的简化框图的示意图。