[发明专利]复杂环境下的多模态特征融合道路场景语义分割方法

说明书

本发明公开了一种复杂环境下的多模态特征融合道路场景语义分割方法。选取道路场景图像、热图像和分割标签图像构成训练集；构建卷积神经网络；将训练集输入到卷积神经网络训练得语义分割结果图，训练完成得语义分割结果图构成的集合，并与所有道路场景图像对应的分割标签图像构成的集合之间计算损失函数值；重复步骤训练获得最小损失函数值对应的最优参数；将待分割的原始道路场景图像的多通道分量输入，利用最优参数进行预测，得到待分割的原始道路场景图像的显著性检测图像，获得分割结果。本发明应用了新颖的模块优化了特征图像的解码，结合分层次、多模态的信息融合，最终提高了道路场景语义分割任务的分割效率和准确度。

技术领域

本发明涉及一种深度学习的语义分割方法，尤其是涉及一种复杂环境下的多模态特征融合道路场景语义分割方法。

背景技术

随着我国经济的快速发展，人们的生活水平不断提高，车辆已经成为不可或缺的代步工具。随着车辆数目的日益增多，道路拥挤、交通事故等问题对人们的出行造成了巨大的困扰。因此，为能够有效的改善这些问题便出现了智能交通的概念。智能交通是指通过物联网、电子技术、控制技术等方向的交叉发展，在宏观上对道路上的车辆加以调配和控制，以缓解当前的交通压力状况。智能交通对于提高交通管理效率、缓解交通拥堵、减少环境污染和确保交通安全等有着十分重要的作用。而智能辅助驾驶系统是智能交通中的一个重要组成部分，无人驾驶则是智能交通的最终目标。道路语义分割技术作为车辆感知外界环境的必要环节，是实现无人驾驶的核心技术，也是计算机视觉和图像处理方向的重要分支。

传统的针对语义分割的研究方法多是依赖于手工特征和先验知识，这使得研究受到很大的限制。手工特征是指通过计算得出特征像素点，而先验知识类似于人们的一般性认知，传统方法能够一定程度上解决语义分割视觉任务，但是它对于一些复杂的、微小的、有遮挡的场景依然无法很好的理解，也无法准确地将这些物体分割出来。

近年来，深度学习的出现彻底颠覆了计算机视觉任务的方法。与传统方法不同的是，深度学习的方法以卷积神经网络自主学习的方式从训练样本中提取特征而不是依赖手工特征和先验知识。并且，充分的数据是进行科学研究的基础保障，深度学习相较于传统方法更容易获得大量的人工标注数据集。更重要的是，深度学习算法可以在GPU上并行处理图形，能够大幅度提高学习效率和预测能力。

如今的语义分割方法大多数已经采用深度学习的方法，即将卷积操作与池化操作、全卷积网络等相结合，利用深度卷积神经网络自主学习提取图像中的特征信息，但是单纯的使用各种现有的神经网络并不足以达到语义分割高精度的要求，因为包含池化操作在内的一些操作会丢失图像中部分的特征信息，从而会导致得到的分割结果图效果较差，因而往往在此操作的基础上，需要我们进行更深一步的研究，对模型进行优化处理。

发明内容

为了解决背景技术中存在的问题，本发明提出了一种复杂环境下的多模态特征融合道路场景语义分割方法，其检测效率高，且检测准确度高。

本发明解决上述技术问题所采用的技术方案为：

包括训练阶段和测试阶段两个过程；

所述的训练阶段过程的具体步骤为：

步骤1_1：选取Q幅原始的道路场景图像、热图像和对应的分割标签图像构成训练集，将训练集中的第k幅原始的道路场景图像记为道路场景图像为RGB彩色图，热图像记为对应的分割标签图像记为

由于原始的道路场景图像即RGB彩色图具有三通道，而热图像只有一个通道，故采用独热编码(HHA，Horizontal disparity,Height above ground,and Angle of thelocal surface normal to the inferred gravity direction)将训练集中的热图像处理成与道路场景图像一样具有三通道的图像，将处理成三通道的图像构成的集合记为J^k。