[发明专利]门控多层融合的实时语义分割方法

权利要求书

1.门控多层融合的实时语义分割方法，其特征是，具体包括步骤如下：

步骤1、构建门控多层融合网络，该门控多层融合网络包括64维的1/2倍下采样层、128维的1/4倍下采样模块、256维的1/8倍下采样模块、512维的1/16倍下采样模块、1028维的1/32倍下采样模块、512维的2倍上采样模块、256维的2倍上采样模块、256维的4倍上采样模块、128维的2倍上采样模块、128维的4倍上采样模块、2个64维的2倍上采样模块、512维的降维模块、3个256维的降维模块、3个128维的降维模块、2个64维的降维模块、5个门控通道、6个拼接通道、以及1个像素预测卷积模块；

64维的1/2倍下采样层的输入端形成门控多层融合网络的输入端；64维的1/2倍下采样层的输出端分为2路，一路连接第一门控通道的输入端，另一路连接128维的1/4倍下采样模块的输入端；128维的1/4倍下采样模块的输出端分为2路，一路连接第二门控通道的输入端，另一路连接256维的1/8倍下采样模块的输入端；256维的1/8倍下采样模块的输出端分为2路，一路连接第三门控通道的输入端，另一路连接512维的1/16倍下采样模块的输入端；512维的1/16倍下采样模块的输出端分为2路，一路连接第四门控通道的输入端，另一路连接1028维的1/32倍下采样模块的输入端；1028维的1/32倍下采样模块的输出端连接第五门控通道的输入端；

第五门控通道的输出端连接512维的降维模块的输入端，512维的降维模块的输出端分为2路，一路连接第一256维的降维模块的输入端，另一路连接512维的2倍上采样模块的输入端；第四门控通道的输出端和512维的2倍上采样模块的输出端同时连接第一拼接通道的输入端；第一拼接通道的输出端连接第二256维的降维模块的输入端；256维的降维模块的输出端分为2路，一路连接第一128维的降维模块的输入端，另一路连接256维的2倍上采样模块的输入端；第三门控通道的输出端和256维的2倍上采样模块的输出端同时连接第二拼接通道的输入端；第二拼接通道的输出端连接第三256维的降维模块的输入端；第一256维的降维模块的输出端连接256维的4倍上采样模块的输入端，256维的4倍上采样模块的输出端和第三256维的降维模块的输出端连接第三拼接通道的输入端；第三拼接通道的输出端连接第二128维的降维模块的输入端；第二128维的降维模块的输出端连接128维的2倍上采样模块的输入端，第二门控通道的输出端和128维的2倍上采样模块的输出端同时连接第四拼接通道的输入端；第四拼接通道的输出端连接第三128维的降维模块的输入端；第一128维的降维模块的输出端连接128维的4倍上采样模块的输入端；第三128维的降维模块的输出端和128维的4倍上采样模块的输出端同时连接第五拼接通道的输入端；第五拼接通道的输出端连接第一64维的降维模块的输入端，第一64维的降维模块的输出端连接第一64维的2倍上采样模块的输入端；第一门控通道的输出端和第一64维的2倍上采样模块的输出端同时连接第六接通道的输入端；第六接通道的输出端连接第二64维的降维模块的输入端，第二64维的降维模块输出端连接第二64维的2倍上采样模块的输入端，第二64维的2倍上采样模块的输出端连接像素预测卷积模块的输入端，像素预测卷积模块的输出端形成门控多层融合网络的输出端；

步骤2、将已知的语义分割数据集中的图像分为训练集和测试集，并分别对训练集和测试集中的图像进行预处理；

步骤3、利用训练集对门控多层融合网络进行训练，得到分割预测模型；

步骤4、利用测试集对实时语义分割的预测模型进行测试，得到最终分割的预测模型；

步骤5、从场景中采集图像，并将采集到的图像送入最终分割的预测模型进行处理，得到最终的分割图像输出，即我们需要的图像分割结果。