[发明专利]训练模型以对有雾图像执行语义分割的方法和系统

权利要求书

1.一种用于训练要用于图像的语义分割的模型的方法，包括：

a-获得(S01)具有不同密度的合成雾的第一多个有雾图像(101)，

b-使用所述第一多个有雾图像和相关联的不同密度来训练(S02)用于估计雾密度的分类模型，

c-根据所述图像中的所述雾密度使用步骤b的所述分类模型对第二多个图像(101)进行分类(S03)，以获得第二多个有雾图像(102)，所述第二多个有雾图像中的每个有雾图像具有包括在第一雾密度阈值和第二雾密度阈值之内的雾密度，

d-获得(S04)第三多个有雾图像(103)，所述第三多个有雾图像中的每个有雾图像具有包括在所述第一雾密度阈值和所述第二雾密度阈值之内的雾密度的合成雾，

e-使用所述第三多个有雾图像和所述第三多个图像的预定义语义分割来训练(S05)语义分割模型，

f-将步骤e的所述语义分割模型应用于(S06)所述第二多个有雾图像(102)，以获得所述第二多个有雾图像的语义分割(102′)，

g-获得(S07)第四多个有雾图像(104)，所述第四多个有雾图像中的每个有雾图像具有包括在第三雾密度阈值和第四雾密度阈值之内的雾密度的合成雾，所述第三雾密度阈值和所述第四雾密度阈值均大于所述第一雾密度阈值和所述第二雾密度阈值，

h-使用以下内容训练(S08)步骤e的所述语义分割模型：

-所述第四多个有雾图像(104)和所述第四多个有雾图像的预定义语义分割(104′)，

-所述第二多个有雾图像(102)和在步骤f中获得的所述多个有雾图像的所述语义分割(102′)。

2.根据权利要求1所述的方法，其中，步骤h包括将来自所述第二多个有雾图像的图像和来自所述第四多个有雾图像的图像的混合输入到步骤e的所述语义分割模型，以获得要馈送到所述模型的图像流，其中，所述图像流包括比来自所述第二多个有雾图像中的图像更大比例的来自所述第四多个有雾图像中的图像。

3.根据权利要求1或2所述的方法，其中，步骤h包括最小化以下值：

其中：

l是所述第四多个有雾图像中的图像的数量，

x_i″是所述第四多个有雾图像中的索引i的图像，

y_i是图像x_i″的所述预定义语义分割，

L(x，y)是x和y的交叉熵损失函数，

Φ″(x_i″)是所述语义分割模型的输出，

μ是所述第二多个有雾图像中的图像的数量，

其中w是预定义权重，

是所述第二多个有雾图像的图像，以及

是在步骤f中获得的图像x_i″的所述语义分割。

4.根据权利要求1至3中任一项所述的方法，其中，在步骤a、d和g中，获得用于所述第一、第三或第四多个有雾图像的有雾图像包括：

-获得初始图像的深度图，

-获得所述初始图像的预定义语义分割，

-制作所述初始图像的透射率图，其中对于所述初始图像的每个像素，当所述深度图中的所述像素的所述深度增加时，所述透射率降低，

-通过考虑所述图像的所述预定义语义分割来过滤所述透射率图，以获得过滤的透射率图，

-使用所述过滤的透射率图在所述初始图像上模拟雾的外观以获得所述有雾图像。

5.根据权利要求4所述的方法，其中，过滤所述透射率图包括应用双边过滤器。

6.根据权利要求5所述的方法，其中，所述双边过滤器被定义为：

其中：

p和q是所述初始图像的像素，

N(p)是p的邻，

t(p)是所述过滤的透射率图中的像素p的所述透射率，

是所述透射率图中的像素q的所述透射率，

是空间高斯核，

是色域高斯核，

δ是克罗内克函数，

μ是预定权重，

h(p)和h(q)分别是像素p和q的所述语义标记，以及

J(q)和J(p)分别是CIELAB域中的所述色值。