[发明专利]高泛化性的跨域道路场景语义分割方法和系统

权利要求书

1.一种高泛化性的跨域道路场景语义分割方法，其特征在于，包括：

通过游戏引擎产生虚拟图像及对应标签；

将虚拟图像进行全局纹理迁移生成全局纹理迁移图像；

将虚拟图像和全局纹理迁移图像进行局部纹理迁移生成局部纹理迁移图像；

对虚拟图像、全局纹理迁移图像以及局部纹理迁移图像进行统一尺寸后送入神经网络进行训练；

将经过神经网络训练的全局纹理迁移图像和局部纹理迁移图像进行一致性约束；

对经过神经网络训练的虚拟图像以及经过一致性约束的局纹理迁移图像和局部纹理迁移图像分别与标签计算损失值，并依据损失值训练语义分割模型；

利用训练好的语义分割模型对任一真实场景进行语义分割；

所述将虚拟图像进行全局纹理迁移生成全局纹理迁移图像按照如下方式获得全局纹理迁移图像：

其中，是虚拟图像的特征，是纹理图像的特征，是特征图的均值，是特征图的方差，为将特征解码为全局纹理迁移图像的神经网络；

所述将虚拟图像和全局纹理迁移图像进行局部纹理迁移生成局部纹理迁移图像，包括：

构建随机掩膜M；

按照如下方式获得局部纹理迁移图像：

其中为元素点乘运算，X为虚拟图像。

2.根据权利要求1所述的高泛化性的跨域道路场景语义分割方法，其特征在于，所述构建随机掩膜M包括：

对随机噪声图像进行卷积平滑得到卷积图像，卷积核为3×3大小，服从分布；

将卷积图像通过自适应判决门限生成随机掩膜M，所述自适应判决门限由特征图的均值和方差决定。

3.根据权利要求1所述的高泛化性的跨域道路场景语义分割方法，其特征在于，所述对虚拟图像、全局纹理迁移图像以及局部纹理迁移图像进行统一尺寸后送入神经网络进行训练包括：

分别对虚拟图像、全局纹理迁移图像以及局部纹理迁移图像按照设定步长s裁剪成正方形图像；

分别对裁剪后的虚拟图像、全局纹理迁移图像以及局部纹理迁移图像放缩成指定分辨率大小；

将放缩后的虚拟图像、全局纹理迁移图像以及局部纹理迁移图像分别送入深度卷积神经网络进行训练。

4.根据权利要求3所述的高泛化性的跨域道路场景语义分割方法，其特征在于，所述设定步长s按照如下方式获得：

其中，为图像的长度，为图像的宽度，[ ]为向下取整。

5.根据权利要求1所述的高泛化性的跨域道路场景语义分割方法，其特征在于，所述将经过神经网络训练的全局纹理迁移图像和局部纹理迁移图像进行一致性约束包括：

获取经过神经网络训练的全局纹理迁移图像和局部纹理迁移图像的特征图；

计算每个对应特征图的距离：

其中，和分别为全局纹理迁移图像和局部纹理迁移图像在神经网络输出层前一层的特征，代表特征图中第个特征值，为特征图的分辨率；

通过距离计算特征图之间的差异性实现约束。

6.一种高泛化性的跨域道路场景语义分割系统，其特征在于，包括：

图像生成模块，其通过游戏引擎产生虚拟图像及对应标签；

全局纹理迁移模块，其将虚拟图像进行全局纹理迁移生成全局纹理迁移图像；

局部纹理迁移模块，其将局部将虚拟图像和全局纹理迁移图像进行局部纹理迁移生成局部纹理迁移图像；

神经网络训练模块，其对虚拟图像、全局纹理迁移图像以及局部纹理迁移图像进行统一尺寸后送入神经网络进行训练；

一致性约束模块，其将经过神经网络训练的全局纹理迁移图像和局部纹理迁移图像进行一致性约束；

语义分割模型训练模块，其对经过神经网络训练的虚拟图像以及经过一致性约束的局纹理迁移图像和局部纹理迁移图像分别与标签计算损失值，并依据损失值训练语义分割模型；

语义分割模块，利用训练好的语义分割模型对任一真实场景进行语义分割；

所述将虚拟图像进行全局纹理迁移生成全局纹理迁移图像按照如下方式获得全局纹理迁移图像：

其中，是虚拟图像的特征，是纹理图像的特征，是特征图的均值，是特征图的方差，为将特征解码为全局纹理迁移图像的神经网络；

所述将虚拟图像和全局纹理迁移图像进行局部纹理迁移生成局部纹理迁移图像，包括：

构建随机掩膜M；

按照如下方式获得局部纹理迁移图像：

其中为元素点乘运算，X为虚拟图像。