[发明专利]门控多层融合的实时语义分割方法

摘要

本发明公开一种门控多层融合的实时语义分割方法，先构建门控多层融合网络，再利用训练集和测试集对门控多层融合网络进行训练和测试得到最终分割的预测模型，最后利用最终分割的预测模型对实时采集图像进行处理，得到最终的分割图像输出。本发明采用轻量级模型作为主架构，并合理运用1×1卷积进行通道降维，最终设计出的模型在保证精度的同时提高运行速度。多层融合架构实现了不同层的不同语义特征进行融合，这样更能提高语义信息的还原，并且大大降低预测图像的边界平滑性。门控结构加权下采样平行层语义信息，使U型连接更加高效，并且促进相邻层间的反馈与监督，低层次监督高层次进行语义补充，高层次对低层次进行更好的下采样。

主权项

1.门控多层融合的实时语义分割方法，其特征是，具体包括步骤如下：/n步骤1、构建门控多层融合网络，该门控多层融合网络包括64维的1/2倍下采样层、128维的1/4倍下采样模块、256维的1/8倍下采样模块、512维的1/16倍下采样模块、1028维的1/32倍下采样模块、512维的2倍上采样模块、256维的2倍上采样模块、256维的4倍上采样模块、128维的2倍上采样模块、128维的4倍上采样模块、2个64维的2倍上采样模块、512维的降维模块、3个256维的降维模块、3个128维的降维模块、2个64维的降维模块、5个门控通道、6个拼接通道、以及1个像素预测卷积模块；/n64维的1/2倍下采样层的输入端形成门控多层融合网络的输入端；64维的1/2倍下采样层的输出端分为2路，一路连接第一门控通道的输入端，另一路连接128维的1/4倍下采样模块的输入端；128维的1/4倍下采样模块的输出端分为2路，一路连接第二门控通道的输入端，另一路连接256维的1/8倍下采样模块的输入端；256维的1/8倍下采样模块的输出端分为2路，一路连接第三门控通道的输入端，另一路连接512维的1/16倍下采样模块的输入端；512维的1/16倍下采样模块的输出端分为2路，一路连接第四门控通道的输入端，另一路连接1028维的1/32倍下采样模块的输入端；1028维的1/32倍下采样模块的输出端连接第五门控通道的输入端；/n第五门控通道的输出端连接512维的降维模块的输入端，512维的降维模块的输出端分为2路，一路连接第一256维的降维模块的输入端，另一路连接512维的2倍上采样模块的输入端；第四门控通道的输出端和512维的2倍上采样模块的输出端同时连接第一拼接通道的输入端；第一拼接通道的输出端连接第二256维的降维模块的输入端；256维的降维模块的输出端分为2路，一路连接第一128维的降维模块的输入端，另一路连接256维的2倍上采样模块的输入端；第三门控通道的输出端和256维的2倍上采样模块的输出端同时连接第二拼接通道的输入端；第二拼接通道的输出端连接第三256维的降维模块的输入端；第一256维的降维模块的输出端连接256维的4倍上采样模块的输入端，256维的4倍上采样模块的输出端和第三256维的降维模块的输出端连接第三拼接通道的输入端；第三拼接通道的输出端连接第二128维的降维模块的输入端；第二128维的降维模块的输出端连接128维的2倍上采样模块的输入端，第二门控通道的输出端和128维的2倍上采样模块的输出端同时连接第四拼接通道的输入端；第四拼接通道的输出端连接第三128维的降维模块的输入端；第一128维的降维模块的输出端连接128维的4倍上采样模块的输入端；第三128维的降维模块的输出端和128维的4倍上采样模块的输出端同时连接第五拼接通道的输入端；第五拼接通道的输出端连接第一64维的降维模块的输入端，第一64维的降维模块的输出端连接第一64维的2倍上采样模块的输入端；第一门控通道的输出端和第一64维的2倍上采样模块的输出端同时连接第六接通道的输入端；第六接通道的输出端连接第二64维的降维模块的输入端，第二64维的降维模块输出端连接第二64维的2倍上采样模块的输入端，第二64维的2倍上采样模块的输出端连接像素预测卷积模块的输入端，像素预测卷积模块的输出端形成门控多层融合网络的输出端；/n步骤2、将已知的语义分割数据集中的图像分为训练集和测试集，并分别对训练集和测试集中的图像进行预处理；/n步骤3、利用训练集对门控多层融合网络进行训练，得到分割预测模型；/n步骤4、利用测试集对实时语义分割的预测模型进行测试，得到最终分割的预测模型；/n步骤5、从场景中采集图像，并将采集到的图像送入最终分割的预测模型进行处理，得到最终的分割图像输出，即我们需要的图像分割结果。/n