[发明专利]一种基于边界引导的道路场景语义分割方法

权利要求书

1.一种基于边界引导的道路场景语义分割方法，其特征在于，具体步骤包括如下：

获取训练集，所述训练集包括原始道路场景RGB图像、Thermal热红外图像、预处理后的边界图像；

构建卷积神经网络；

将所述训练集输入到所述卷积神经网络中进行训练，得到对应的语义分割预测图；

所述语义分割预测图构成第一集合，真实语义分割图像处理成的独热编码图像构成第二集合，计算所述第一集合与第二集合之间的损失函数，得到卷积神经网络分类训练模型的最优权值矢量和偏置项，所述卷积神经网络分类训练模型训练完成；

将待语义分割的道路场景图像输入所述卷积神经网络分类训练模型中，得到预测语义分割图像。

2.根据权利要求1所述的一种基于边界引导的道路场景语义分割方法，其特征在于，所述卷积神经网络包括10个编码模块、5个融合模块、1个高级语义模块、1个高级信息模块、4个解码融合模块；所述卷积神经网络中分为两支结构相同的编码流，RGB编码流包含5个编码模块，分别为依次连接的第一个编码模块、第二个编码模块、第三个编码模块、第四个编码模块、第五个编码模块、Thermal编码流包含5个编码模块，分别为依次连接的第六个编码模块、第七个编码模块、第八个编码模块、第九个编码模块、第十个编码模块；融合模块与编码模块相连，高级语义模块分别与第五个融合模块、第四个融合模块相连，高级信息模块与第五个融合模块相连，高级信息模块还与解码融合模块相连。

3.根据权利要求2所述的一种基于边界引导的道路场景语义分割方法，其特征在于，所述融合模块包括第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块、第一交融模块、空洞金字塔模块；第一特征图输入到所述第一卷积模块中得到第三特征图，第二特征图输入到所述第一卷积模块中得到第四特征图，将所述第三特征图和所述第四特征图进行相加操作，得到第五特征图，将所述第五特征图与所述第三特征图进行点乘操作得到第六特征图，将所述第五特征图与所述第四特征图进行点乘操作得到第七特征图，将所述第六特征图与所述第七特征图进行拼接操作得到第八特征图，将所述第八特征图输入到所述第二卷积模块中得到第九特征图，所述第九特征图输入到所述第一交融模块得到第十特征图，所述第十特征图输入到所述空洞金字塔模块得到第十一特征图，所述第十一特征图输入到所述第三卷积模块得到第十二特征图，所述第十二特征图输入到所述第四卷积模块得到第十三特征图。

4.根据权利要求2所述的一种基于边界引导的道路场景语义分割方法，其特征在于，所述高级语义模块包括第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块；输入图像经过32倍上采样得到第一特征图A，输入图像A经过16倍上采样得到第二特征图A，将第一特征图A与第二特征图A进行拼接操作得到第三特征图A，将第三特征图A输入到第一卷积模块得到第四特征图A，将第一特征图A、第二特征图A、第四特征图A进行求和操作得到第五特征图A，将第五特征图A输入到第二卷积模块中得到第六特征图A，将第一特征图A与第六特征图A进行点乘操作得到第七特征图A，将第七特征图A输入到第三卷积模块中得到第八特征图A，将网络的输入e输入到第四卷积模块中得到e^out，将第八特征图A与e^out进行点乘操作得到第九特征图A，将第八特征图A与第九特征图A进行求和操作得到输出Sem₁。

5.根据权利要求2所述的一种基于边界引导的道路场景语义分割方法，其特征在于，所述高级信息模块包括7个卷积模块；将特征图分别输入到第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块、第五卷积模块得到第一特征图B、第二特征图B、第三特征图B、第四特征图B、第五特征图B，将第一特征图B、第二特征图B、第三特征图B、第四特征图B、第五特征图B进行拼接操作得到第六特征图B，将第六特征图B输入到第六卷积模块得到第七特征图B，将第七特征图B与特征图进行求和得到第八特征图B，将第八特征图B输入到第七卷积模块中得到第九特征图B。