[发明专利]一种基于全卷积和长短期记忆单元的场景语义分割方法

权利要求书

1.一种基于全卷积和长短期记忆单元的场景语义分割方法，其特征在于，包括如下步骤：

S1：构建基于全卷积、金字塔池化模块与长短期记忆单元模块的深度神经网络；

S2：输入场景图像，在深度神经网络中进行一次前向传播得到预测图像A；输入标注图像进行尺度缩减后得到与预测图像同分辨率的标注图像A；比对预测图像A和标注图像A，以Softmax损失为目标函数，对步骤1得到的深度神经网络进行权值更新；

S3：多次进行步骤S2，直到损失无法下降时结束训练；

S4：输入新的场景图像至已训练好的深度神经网络，并做双线性插值到原图分辨率，得到该场景的语义分割结果。

2.根据权利要求1所述的一种基于全卷积和长短期记忆单元的场景语义分割方法，其特征在于，所述深度神经网络的结构包括前端网络和后端网络，所述前端网络基于VGG网络，由5个卷积模块组成；其中，卷积模块一、卷积模块二均包括2个卷积层、1个修正线性单元层和1个池化层，卷积模块三包括3个卷积层、个修正线性单元层和1个池化层，卷积模块四、卷积模块五均包括3个卷积层和1个修正线性单元层；所述后端网络由金字塔池化模块和长短期记忆单元组成。

3.根据权利要求2所述的基于全卷积和长短期记忆单元的场景语义分割方法，其特征在于：所述金字塔池化模块针对场景图像中的不同尺度目标提取特征；所述金字塔池化模块中分别进行4种不同核大小的池化操作；在每个池化层后分别连接一个卷积层。

4.根据权利要求2或3所述的基于全卷积和长短期记忆单元的场景语义分割方法，其特征在于：所述长短期记忆单元从图像在二维邻域上强相关性出发；该模块由两部分组成，垂直扫描模块和水平扫描模块。

5.根据权利要求2所述的基于全卷积和长短期记忆单元的场景语义分割方法，其特征在于,S2中，所述权值更新的具体过程为：

S21：网络初始化：使用在ImageNet数据集上预训练的VGG-16网络的参数作为前端网络的初始值，金字塔池化模块中的所有卷积层由标准高斯分布进行参数初始化，长短期记忆单元使用标准均匀分布初始化参数；

S22：训练：比对预测图像A和标注图像A，以每一像素的softmax损失的和作为目标函数，使用随机梯度下降法为优化方法，初始学习率设置为0.001，后面根据loss的下降效果适当降低学习率，当loss下降到一定程度不再下降时结束训练。