[发明专利]一种图像深度信息补全方法、装置和电子设备

说明书

本申请提供了一种图像深度信息补全方法、装置和电子设备，所述方法包括：获取第一图像的RGB图像并进行标注，根据标注后的RGB图像训练语义分割模型；将获取的第二图像的RGB图像输入到语义分割模型进行语义分割以计算第二图像的RGB图像的边缘点，对所述第二图像的RGB图像的边缘点进行过滤以去除伪边缘区域；根据所述第二图像的RGB图像的有效边缘点计算补全深度图像的平均深度值；根据所述第二图像的RGB图像获取第二图像的深度图像，遍历所述深度图像所有边缘点，通过所述平均深度值补全边缘缺失的所述深度图像。本申请可以较真实的还原环境中物体的几何结构，在环境重建等应用中可以提供更完整的信息。

技术领域

本申请涉及深度计算技术领域，具体涉及一种图像深度信息补全方法、装置及电子设备。

背景技术

随着科技的发展，2D成像已经远远不能满足的消费者的需求，所以3D成像应运而生，大多数3D相机所获得的深度信息边缘缺失或者扭曲，这一直是深度重建的难点和重点，现成的一些方法基于深度信息平滑处理或通过边缘检测算法到边缘，再使用边缘补偿方法获取深度信息边缘信息，如此会导致最终的深度边缘信息扭曲不真实或者产生伪边缘。

发明内容

本申请的目的在于提供了一种图像深度信息补全方法、装置及电子设备，本申请可以较真实的还原环境中物体的几何结构，在环境重建等应用中提供更完整的信息。

第一方面，本申请提供了一种图像深度信息补全方法，包括：

获取第一图像的RGB图像并进行标注，根据标注后的RGB图像训练语义分割模型；

将获取的第二图像的RGB图像输入到训练后的语义分割模型进行语义分割以计算第二图像的RGB图像的边缘点；

对所述第二图像的RGB图像的边缘点进行过滤以去除伪边缘区域后，得到有效边缘点；

根据所述第二图像的RGB图像的有效边缘点计算补全所述第二图像的深度图像的平均深度值；

根据所述第二图像的RGB图像获取第二图像的深度图像，遍历所述深度图像所有边缘点，通过所述平均深度值对所述获取第二图像的深度图像进行补全。

作为本申请一优选实施例，所述将获取的第二图像的RGB图像输入到语义分割模型进行语义分割以计算第二图像的RGB图像的边缘点，包括：

将第二图像的RGB图像输入到语义分割模型中进行模型推理，获取第二图像的RGB图像语义分割信息；

根据所述第二图像的RGB图像语义分割信息计算第二图像的RGB图像的边缘点；

假设其中，A表示x方向第二图像的RGB图像的边缘点的卷积核，B表示y方向第二图像的RGB图像的边缘点的卷积核，G_X＝A*image，G_y＝B*image，image为第二图像的RGB图像语义分割信息，edge1为第二图像的RGB图像的边缘点。

作为本申请一优选实施例，所述对所述第二图像的RGB图像的边缘点进行过滤以去除伪边缘区域，包括：

以第二图像的RGB图像的每个边缘点为中心，在与第二图像的RGB图像对应的深度图像上取N*N区域，计算所述N*N区域的深度值均值，根据所述N*N区域的深度值均值计算所述N*N区域的深度值均值方差；

计算N*N区域的深度图像有效深度值的百分比；

若N*N区域某一点的深度值均值方差或有效深度值的百分比小于所述N*N区域的深度值均值方差阈值，且大于N*N区域的有效深度值的百分比阈值，则所述N*N区域某一点为第二图像的RGB图像的伪边缘点，依次轮询去除第二图像所有伪边缘点，得到第三图像。

作为本申请一优选实施例，所述根据所述N*N区域的深度值均值计算所述N*N区域的深度值均值方差通过如下公式计算：