[发明专利]一种图像深度信息补全方法、装置和电子设备

权利要求书

1.一种图像深度信息补全方法，其特征在于，包括：

获取第一图像的RGB图像并进行标注，根据标注后的RGB图像训练语义分割模型；

将获取的第二图像的RGB图像输入到训练后的语义分割模型进行语义分割以计算第二图像的RGB图像的边缘点；

对所述第二图像的RGB图像的边缘点进行过滤以去除伪边缘区域后，得到有效边缘点；

根据所述第二图像的RGB图像的有效边缘点计算补全所述第二图像的深度图像的平均深度值；

根据所述第二图像的RGB图像获取第二图像的深度图像，遍历所述深度图像所有边缘点，通过所述平均深度值对所述获取第二图像的深度图像进行补全。

2.如权利要求1所述的一种图像深度信息补全方法，其特征在于，所述将获取的第二图像的RGB图像输入到语义分割模型进行语义分割以计算第二图像的RGB图像的边缘点，包括：

将第二图像的RGB图像输入到语义分割模型中进行模型推理，获取第二图像的RGB图像语义分割信息；

根据所述第二图像的RGB图像语义分割信息计算第二图像的RGB图像的边缘点；

假设其中，A表示x方向第二图像的RGB图像的边缘点的卷积核，B表示y方向第二图像的RGB图像的边缘点的卷积核，G_X＝A*image，G_y＝B*image，image为第二图像的RGB图像语义分割信息，edge1为第二图像的RGB图像的边缘点。

3.如权利要求1所述的一种图像深度信息补全方法，其特征在于，所述对所述第二图像的RGB图像的边缘点进行过滤以去除伪边缘区域，包括：

以第二图像的RGB图像的每个边缘点为中心，在与第二图像的RGB图像对应的深度图像上取N*N区域，计算所述N*N区域的深度值均值，根据所述N*N区域的深度值均值计算所述N*N区域的深度值均值方差；

计算N*N区域的深度图像有效深度值的百分比；

若N*N区域某一点的深度值均值方差或有效深度值的百分比小于所述N*N区域的深度值均值方差阈值，且大于N*N区域的有效深度值的百分比阈值，则所述N*N区域某一点为第二图像的RGB图像的伪边缘点，依次轮询去除第二图像所有伪边缘点，得到第三图像。

4.如权利要求3所述的一种图像深度信息补全方法，其特征在于，

所述根据所述N*N区域的深度值均值计算所述N*N区域的深度值均值方差通过如下公式计算：

其中，E_mean表示N*N区域的深度值均值，V_val表示N*N区域的深度值均值方差，pix_nm表示N*N区域(n，m)位置处的像素值。

5.如权利要求3所述的一种图像深度信息补全方法，其特征在于，所述根据所述第二图像的RGB图像的有效边缘点计算补全深度图像的平均深度值，包括：

获取所述第二图像的RGB图像有效边缘点中的a个有效深度点，并计算a个有效深度点的平均值，以所述平均值作为补全缺失深度图像的深度值。

6.如权利要求5所述的一种图像深度信息补全方法，其特征在于，所述获取所述第二图像的RGB图像有效边缘点中的a个有效深度值，并计算a个有效深度值的平均值，包括：

轮询第三图像上的边缘点，计算第三图像的各边缘点切线方向；

在与第二图像的RGB图像对应的深度图像中，以第三图像的边缘点切线方向为边界，在所述边界同一侧确定a个有效深度点，并计算所述a个有效深度点的平均值E_d。

7.如权利要求1所述的一种图像深度信息补全方法，，其特征在于，所述根据所述第二图像的RGB图像获取第二图像的深度图像，遍历所述深度图像所有边缘点，通过所述平均深度值对所述深度图像进行补全，包括：

遍历在与第二图像的RGB图像对应的深度图像的所有边缘点，填充所述深度图像的有效深度和空洞，并替换所述深度图像的无效深度。