[发明专利]训练模型以对有雾图像执行语义分割的方法和系统

说明书

用于训练要用于图像的语义分割的模型的系统和方法，包括：a‑获得(S01)第一多个有雾图像(101)，b‑训练(S02)用于估计雾密度的分类模型，c‑对具有轻雾的第二多个图像(101)进行分类(S03)，d‑获得(S04)具有轻雾的第三多个有雾图像(103)，e‑使用第三多个有雾图像训练(S05)语义分割模型，f‑将语义分割模型应用(S06)于第二多个有雾图像(102)以获得语义分割(102′)，g‑获得(S07)具有浓雾的第四多个有雾图像(104)，h‑使用先前获得的有雾图像进行训练(S08)。

技术领域

本发明涉及图像处理领域，并且更具体地涉及其中可能出现雾的图像的语义分割。

背景技术

语义分割是一种用于确定图像中可见(或部分可见)的对象类型的方法。例如，可以通过安装在车辆中的相机来获取图像。该图像的语义分割允许区分其它车辆、行人、行车道等。因此，语义分割对于自动驾驶车辆和其它类型的自动化系统特别有用。

语义分割方法通常使用诸如神经网络或卷积神经网络的模型来执行分割。这些模型必须经过训练。

训练模型通常包括将已知图像输入模型。对于这些图像，预定的语义分割是已知的(操作员可能已经通过注释图像来准备每个图像的预定的语义分割)。然后，考虑到预定的语义分割来评估模型的输出，并且如果模型的输出与图像的预定的语义分割不同，则调节模型的参数。

因此，为了训练语义分割模型，大量的图像和预定的语义分割是必须的。

据观察，不利的天气条件会给驾驶员和自动化系统造成可视性问题。尽管传感器和计算机视觉算法不断改进，但它们通常无法在许多室外条件下工作。这阻止了这些自动化系统的实际使用：无法想像车辆会避开恶劣的天气，并且车辆必须能够在每种可能的天气条件下区分不同的对象。

雾是典型的不利天气的示例，其会根据雾的密度严重降低场景的可见性。

因此，期望用有雾(foggy)图像(在其上出现雾的图像)训练语义分割模型。

然而，获得关于有雾图像(例如，由相机拍摄的有雾图片)的语义分割数据是特别困难且耗时的，特别是在操作员在将有雾图像馈送到模型之前必须手动注释有雾图像的情况下。

为了克服该问题，已经提出了生成合成有雾图像。

实际上，获得语义分割更容易在清晰图像上执行，并且清晰图像的语义分割可以用于训练已经输入了具有合成雾的图像的模型。

现有技术文件“采用合成数据的语义雾景理解(Semantic foggy sceneunderstanding with synthetic data)”(国际计算机视觉杂志International Journalof Computer Vision，Sakaridis，C.，Dai，D.，Van Gool，L.，2018)公开了一种在清晰天气图像上添加合成雾的方法。这些图像然后可以用于训练神经网络。该文件中公开的方案对于呈现浓雾的图像的语义分割是不令人满意的。

本发明的主要目的是提供克服当前可用系统和方法的缺陷的方法和系统。

发明内容

本发明通过提出一种用于训练要被用于图像的语义分割的模型的方法来克服现有技术的一个或多个缺陷，该方法包括：

a-获得具有不同密度(例如，每个图像上的随机雾密度)的合成雾的第一多个有雾图像，

b-使用第一多个有雾图像和相关联的不同密度来训练用于估计雾密度的分类模型，

c-根据图像中的雾密度使用步骤b的分类模型对第二多个图像进行分类，以便获得第二多个有雾图像，其中每个有雾图像具有包括在第一雾密度阈值和第二雾密度阈值之内的雾密度，