[发明专利]一种基于视频编解码技术的RGBD数据压缩传输方法

说明书

本发明公开的基于视频编解码技术的RGBD数据压缩传输方法，通过将彩色图像缩小到与深度图像一样的尺寸，减小了传输的数据量；将彩色图像从RGB格式转换为YUV格式，实现了在损失较小图像色彩的前提下，进一步减少了传输的数据量；将16位的深度图像分为三部分，将每部分分别放在各自8位深度图像的高位，这样在图像进行编解码时可以避免对高位数据造成损失，减小了深度数据的误差，减小了单台RGBD相机所传输的三维数据，实现了同时传输多台RGBD相机产生的RGBD数据，减小了传输的数据量，增加了传输深度图像的精准度，可以同时传输多台RGBD相机产生的三维数据，提高了从真实场景获取数据的完整程度。

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于视频编解码技术的RGBD数据压缩传输方法，可用于用户使用混合现实设备时将重建模型展示在真实场景中。

背景技术

目前，RGBD数据的应用前景巨大，尤其在虚拟现实技术中，RGBD数据最直接的获取方法是通过消费级的RGBD相机同时获得彩色图像和深度图像，然后通过三维重建技术得到高质量的三维模型。然而由于三维模型巨大的数据量，直接传输所需带宽巨大，因此对RGBD数据进行压缩传输具有非常重要的意义。

在压缩传输视频流数据这个任务上，已经存在多种视频编解码方式，所谓视频编码方式就是指通过压缩技术，将原始视频格式的文件转换成另一种视频格式文件的方式。通过这种技术可以对原始的视频进行编码压缩，以去除空间、时间维度的冗余，以减少传输时所需的带宽。鉴于以上优点，有专利申请使用视频编解码完成RGBD数据的实时传输。例如申请公布号为CN110111380A的专利申请公开了一种基于深度相机的3D图像传输及重建方法，该方法将RGB格式的彩色图像和深度图像存储为一帧混合图像帧，然后使用视频编解码技术对混合图像帧进行编码压缩，从而完成三维数据的压缩传输。然而这种方法使用来自RGBD相机的原始尺寸的RGB格式彩色图像和深度图像，这导致在压缩传输时，只能传输来自一台RGBD相机的巨大数据，产生的结果是经传输的RGBD数据只能从一个方向上表示真实环境，不能多角度的完整表现真实环境，同时RGB格式的彩色图像仍然具有一定的数据冗余，这增加了传输数据时所需的带宽。

发明内容

为解决现有技术的不足，本发明实施例提供了一种基于视频编解码技术的RGBD数据压缩传输方法，该方法包括以下步骤：

(1)确定n台RGBD相机位置并获取每台相机的彩色图像和深度图像：

(11)在使用场景中布置好n台RGBD相机，使n台RGBD相机能够覆盖使用场景中所有位置，获取每台RGBD相机的宽为W_c、高为H_c的彩色图像C_i和宽为W_d、高为H_d的16位深度图像D_i，其中，n为大于1的自然数，i表示第i个RGBD相机，i∈[1,n]；

(2)缩小彩色图像尺寸：

(21)缩小步骤(1)中的彩色图像C_i的尺寸，获得宽为W_d、高为H_d的彩色图像C′_i，其中，i表示第i个RGBD相机，i∈[1,n]；

(3)将彩色图像C′_i由RGB格式转换为YUV格式：

(31)将步骤(2)中缩小后的彩色图像C′_i中每个像素的R、G、B分量值代入RGB格式到YUV格式的转换公式，获得每个像素的Y、U、V分量；