[发明专利]孔洞修复模型训练及修复方法、装置、系统

权利要求书

1.一种孔洞修复模型训练方法，其特征在于，所述方法包括：

对全景图像进行高亮处理或低亮处理；所述高亮处理用以模拟强光源照射，低亮处理用以模拟低亮度照射；

将处理后的所述全景图像输入神经网络，得到模拟深度图；

根据所述全景图像对应的原始深度图与所述模拟深度图，训练在强光源照射或者低亮度照射情况下的孔洞修复模型；

其中，所述低亮处理包括：识别所述全景图像中低亮的深色物体表面；将所述深色物体表面区域像素值降低，模拟深色物体表面；

其中，所述根据所述全景图像对应的原始深度图与所述模拟深度图，训练在强光源照射或者低亮度照射情况下的孔洞修复模型，包括：

将所述全景图像对应的原始深度图与所述模拟深度图进行比较，获取所述高亮或低亮处理对相应位置的深度图的偏差；

根据所述偏差训练在强光源照射或者低亮度照射情况下的孔洞修复模型。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

所述全景图像对应的原始深度图根据历史数据获取；或将所述全景图输入神经网络后得到所述全景图像对应的原始深度图。

3.如权利要求1所述的方法，其特征在于，所述对全景图像进行高亮处理或低亮处理，包括：

所述高亮处理包括：

从所述全景图像中选取部分方形区域；

用高斯核函数作用在所述方形区域的单位矩阵，得到模拟的高斯亮度源；

将所述方形区域内全景图像的像素值与对应高斯亮度源数值相加，得到模拟像素值；

将所述方形区域内全景图像的所述模拟像素值归一化到0-255范围内，得到高亮处理后的全景图像。

4.如权利要求1所述的方法，其特征在于，所述将处理后的所述全景图像输入神经网络，得到模拟深度图，还包括：

对于模拟深度图中每个位置深度值设置自信度；所述自信度描述模拟的每个深度值与真实深度值的偏差的量；

所述自信度定义如下：

自信度Loss_conf＝1–abs(depth_pred–depth_gt)*alpha；

其中，abs为取绝对值；depth_pred为模拟得到的深度值；depth_gt为真实的深度值；alpha为预设的超参数。

5.如权利要求4所述的方法，其特征在于，所述根据所述全景图像对应的原始深度图与所述模拟深度图，训练在强光源照射或者低亮度照射情况下的孔洞修复模型，包括：

根据所述模拟深度图中每个位置的深度值的自信度确定是否用所述位置的模拟的深度值修正所述原始深度图中的真实深度值。

6.一种孔洞修复方法，其特征在于，采用如权利要求1～5任一所述的孔洞修复模型训练方法，所述方法包括：

获取全景图像，将所述全景图输入到神经网络中，获取对应的深度图；

当确定所述深度图中存在缺失信息时，获取缺失处位置；

根据所述孔洞修复模型，将所述缺失处位置对应的深度图进行孔洞修复。

7.如权利要求6所述的方法，其特征在于，所述当确定所述深度图中存在缺失信息时，获取缺失处位置，还包括：

确定所述深度图中是否存在深度数据缺失；

当确定所述深度图中存在深度数据缺失时，则进一步确定所述深度数据缺失产生原因是否为对应的全景图像中的强光源照射或低亮度照射产生。

8.如权利要求6所述的方法，其特征在于，所述根据所述孔洞修复模型，将所述缺失处位置对应的深度图进行孔洞修复，包括：

根据所述孔洞修复模型获取所述缺失处位置的模拟深度图；

获取所述模拟深度图的自信度；

当所述自信度大于预设值时，用所述模拟深度图替换原始的深度图。