[发明专利]门控多层融合的实时语义分割方法

说明书

本发明公开一种门控多层融合的实时语义分割方法，先构建门控多层融合网络，再利用训练集和测试集对门控多层融合网络进行训练和测试得到最终分割的预测模型，最后利用最终分割的预测模型对实时采集图像进行处理，得到最终的分割图像输出。本发明采用轻量级模型作为主架构，并合理运用1×1卷积进行通道降维，最终设计出的模型在保证精度的同时提高运行速度。多层融合架构实现了不同层的不同语义特征进行融合，这样更能提高语义信息的还原，并且大大降低预测图像的边界平滑性。门控结构加权下采样平行层语义信息，使U型连接更加高效，并且促进相邻层间的反馈与监督，低层次监督高层次进行语义补充，高层次对低层次进行更好的下采样。

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种门控多层融合的实时语义分割方法。

背景技术

语义分割已经成为计算机视觉领域中一项关键性技术，通过语义分割任务能够更好的从计算机场景中获取相关信息，因此更好的解决语义分割任务能够为计算机的场景理解提供有效的帮助，具体的应用包括自动驾驶，医疗影像分析和人机交互等。语义分割可定义为检测图像的每个像素的值，然后与所给标签进行逐像素对比，将图像的每个像素点都进行精确分类。

随着深度学习的快速发展，越来越多的深度学习算法被用于解决语义分割问题，不仅简化了执行语义分割的通道，并且极大地提高了预测精度。FCN，VGG16和GoogleNet是一些用于语义分割的最简单，最流行的基础架构。虽然在这些基础结构上的部分简单分割网络已经能够表现不错的性能，但是由于深层的精确定位像素和浅层的像素不能够高效结合，导致像素的还原不够精确，从而输出不均匀并且造成像素的重叠，这些问题直接导致预测图像的边缘平滑问题，不能够精确分割出图像与背景。

发明内容

本发明所要解决的是现有的语义分割方法在进行深度学习时损失大量有效特征和模型运行速度的问题，提供一种门控多层融合的实时语义分割方法，其在模型复杂度降低的情况下，能保持一个不错的预测精度。

为解决上述问题，本发明是通过以下技术方案实现的：

门控多层融合的实时语义分割方法，具体包括步骤如下：

步骤1、构建门控多层融合网络，该门控多层融合网络包括64维的1/2倍下采样层、128维的1/4倍下采样模块、256维的1/8倍下采样模块、512维的1/16倍下采样模块、1028维的1/32倍下采样模块、512维的2倍上采样模块、256维的2倍上采样模块、256维的4倍上采样模块、128维的2倍上采样模块、128维的4倍上采样模块、2个64维的2倍上采样模块、512维的降维模块、3个256维的降维模块、3个128维的降维模块、2个64维的降维模块、5个门控通道、6个拼接通道、以及1个像素预测卷积模块；

64维的1/2倍下采样层的输入端形成门控多层融合网络的输入端；64维的1/2倍下采样层的输出端分为2路，一路连接第一门控通道的输入端，另一路连接128维的1/4倍下采样模块的输入端；128维的1/4倍下采样模块的输出端分为2路，一路连接第二门控通道的输入端，另一路连接256维的1/8倍下采样模块的输入端；256维的1/8倍下采样模块的输出端分为2路，一路连接第三门控通道的输入端，另一路连接512维的1/16倍下采样模块的输入端；512维的1/16倍下采样模块的输出端分为2路，一路连接第四门控通道的输入端，另一路连接1028维的1/32倍下采样模块的输入端；1028维的1/32倍下采样模块的输出端连接第五门控通道的输入端；