[发明专利]深度图优化方法及装置、系统、电子设备、存储介质

说明书

本发明公开了一种深度图优化方法及装置、系统、电子设备、存储介质，该方法包括：采集深度传感器获取的目标空间的深度图；采集偏振传感器获取的目标空间的偏振图；根据所述偏振图，获取目标面的法向量；将所述深度图映射到所述偏振图上，根据所述法向量，对所述深度图进行代价计算和聚合，获取优化的深度图。将深度传感器和偏振传感器结合，通过将深度信息与偏振信息（法向量信息）融合，经代价聚合进而实现深度图的滤波和精度提升。

技术领域

本申请涉及图像处理技术领域，尤其涉及一种深度图优化方法及装置、系统、电子设备、存储介质。

背景技术

深度相机可以用来感知环境的三维深度信息，因此被广泛应用于移动机器人导航，航天、航空，增强现实，测绘等领域。目前深度相机领域分为以结构光深度相机和飞行时间深度相为代表的主动式深度相机和以双目相机为代表的被动式深度相机。相比于被动式深度相机，主动式深度相机不需要大量计算就可以获取真实环境的距离信息，并且获取的距离信息更为可靠。

目前主动式深度相机主要分为光飞行时间深度相机和结构光深度相机。以光飞行时间深度相机为例，光飞行时间深度相机主要存在空间感知精度偏低，一般在cm级别，提高感知精度的主要方法包括提高调制频率和多图优化上，提高调制频率目前最高也只能做到mm级别，在某些场景下的应用还是受限，而多图优化存在的最大问题就是出图的实时性大打折扣。

发明内容

本申请实施例的目的是提供一种深度图优化方法及装置、系统、电子设备、存储介质，以解决相关技术中存在的深度优化精度有限，出图实时性差的问题。

根据本申请实施例的第一方面，提供一种深度图优化方法，包括：采集深度传感器获取的目标空间的深度图；采集偏振传感器获取的目标空间的偏振图；根据所述偏振图，获取目标面的法向量；将所述深度图映射到所述偏振图上，根据所述法向量，对所述深度图进行代价计算和聚合，获取优化的深度图。

进一步地，将所述深度图映射到所述偏振图上，包括：

计算所述深度传感器坐标系到偏振传感器坐标系的转换矩阵；

通过所述转换矩阵将深度图映射到所述偏振图上。

进一步地，所述转换矩阵为：

其中（、、）为偏振图的像素坐标，（、、）为深度图的像素坐标， W是一个4×4的转换矩阵。

进一步地，所述代价计算的函数为：

其中，是一个二元算子，是的K-T转换，是深度图，是目标空间的法向量图，代价聚合的过程就是优化过程，使得计算得到的法向量与的法向量最接近。

根据本申请实施例的第二方面，提供一种深度图优化装置，包括：第一采集模块，用于采集深度传感器获取的目标空间的深度图；第二采集模块，用于采集偏振传感器获取的目标空间的偏振图；获取模块，用于根据所述偏振图，获取目标面的法向量；计算模块，用于将所述深度图映射到所述偏振图上，根据所述法向量，对所述深度图进行代价计算和聚合，获取优化的深度图。

根据本申请实施例的第三方面，提供一种深度图优化系统，包括：深度传感器，用于采集目标空间的深度图；偏振检测传感器，用于采集目标空间的偏振图，并根据所述偏振图计算目标面的法向向量；计算模块，用于控制所述深度传感器和偏振检测传感器工作，并将所述深度图映射到所述偏振图上，根据所述法向量，对所述深度图进行代价计算和聚合，获取优化的深度图。

进一步地，所述深度传感器主要由主动光发射模块、深度传感模块和深度控制模块构成，所述主动光发射模块用于向外发射光线，投射在目标物体上；所述深度传感模块用于接收若干由目标物体反射的光线信号；所述深度控制模块用于控制深度传感模块和主动光发射模块进行深度感知。