[发明专利]一种基于卷积神经网络的道路场景语义分割方法

摘要

本发明公开了一种基于卷积神经网络的道路场景语义分割方法，其先构建卷积神经网络，包括输入层、隐层和输出层，隐层由13个神经网络块、7个上采样层、8个级联层组成；然后将训练集中的每幅原始的道路场景图像输入到卷积神经网络中进行训练，得到每幅原始的道路场景图像对应的12幅语义分割预测图；接着通过计算每幅原始的道路场景图像对应的12幅语义分割预测图构成的集合与对应的真实语义分割图像处理成的12幅独热编码图像构成的集合之间的损失函数值，得到卷积神经网络分类训练模型的最优权值矢量和最优偏置项；将待语义分割的道路场景图像输入到卷积神经网络分类训练模型中进行预测，得到对应的预测语义分割图像；优点是语义分割精度高。

主权项

1.一种基于卷积神经网络的道路场景语义分割方法，其特征在于包括训练阶段和测试阶段两个过程；所述的训练阶段过程的具体步骤为：步骤1_1：选取Q幅原始的道路场景图像及每幅原始的道路场景图像对应的真实语义分割图像，并构成训练集，将训练集中的第q幅原始的道路场景图像记为{I^q(i,j)}，将训练集中与{I^q(i,j)}对应的真实语义分割图像记为然后采用独热编码技术将训练集中的每幅原始的道路场景图像对应的真实语义分割图像处理成12幅独热编码图像，将处理成的12幅独热编码图像构成的集合记为其中，道路场景图像为RGB彩色图像，Q为正整数，Q≥100，q为正整数，1≤q≤Q，1≤i≤W，1≤j≤H，W表示{I^q(i,j)}的宽度，H表示{I^q(i,j)}的高度，I^q(i,j)表示{I^q(i,j)}中坐标位置为(i,j)的像素点的像素值，表示中坐标位置为(i,j)的像素点的像素值；步骤1_2：构建卷积神经网络：卷积神经网络包括输入层、隐层和输出层；隐层由13个神经网络块、7个上采样层、8个级联层组成；第1个神经网络块由第一卷积层、第二卷积层、第一最大池化层、第三卷积层、第四卷积层组成，第2个神经网络块由第五卷积层、第六卷积层、第二最大池化层、第七卷积层、第八卷积层组成，第3个神经网络块由第九卷积层、第十卷积层、第十一卷积层、第三最大池化层、第十二卷积层、第十三卷积层组成，第4个神经网络块由第十四卷积层、第十五卷积层、第十六卷积层、第四最大池化层、第十七卷积层组成，第5个神经网络块由第十八卷积层、第十九卷积层、第二十卷积层、第二十一卷积层、第二十二卷积层、第二十三卷积层组成，第6个神经网络块由第二十四卷积层、第二十五卷积层、第二十六卷积层组成，第7个神经网络块由第二十七卷积层、第二十八卷积层、第二十九卷积层组成，第8个神经网络块由第三十卷积层、第三十一卷积层组成，第9个神经网络块由第三十二卷积层、第三十三卷积层组成，第10个神经网络块由第三十四卷积层、第三十五卷积层、第三十六卷积层组成，第11个神经网络块由第三十七卷积层、第三十八卷积层、第三十九卷积层组成，第12个神经网络块由第四十卷积层、第四十一卷积层组成，第13个神经网络块由第四十二卷积层、第四十三卷积层组成；输出层由第四十四卷积层组成；其中，第一卷积层至第四十四卷积层各自的卷积核大小为3×3，第一最大池化层至第四最大池化层各自的池化步长为2，7个上采样层各自的上采样步长为2；对于输入层，输入层的输入端接收一幅原始输入图像的R通道分量、G通道分量和B通道分量，输入层的输出端输出原始输入图像的R通道分量、G通道分量和B通道分量给隐层；其中，要求输入层的输入端接收的原始输入图像的宽度为W、高度为H；对于第1个神经网络块，第一卷积层的输入端接收输入层的输出端输出的原始输入图像的R通道分量、G通道分量和B通道分量，第一卷积层的输出端输出64幅特征图，将64幅特征图构成的集合记为C₁；第二卷积层的输入端接收C₁中的所有特征图，第二卷积层的输出端输出64幅特征图，将64幅特征图构成的集合记为C₂；第一最大池化层的输入端接收C₂中的所有特征图，第一最大池化层的输出端输出64幅特征图，将64幅特征图构成的集合记为Z₁；第三卷积层的输入端接收C₂中的所有特征图，第三卷积层的输出端输出64幅特征图，将64幅特征图构成的集合记为C₃；第四卷积层的输入端接收C₂中的所有特征图，第四卷积层的输出端输出64幅特征图，将64幅特征图构成的集合记为C₄；其中，C₁、C₂、C₃、C₄各自中的每幅特征图的宽度为W、高度为H，Z₁中的每幅特征图的宽度为高度为对于第2个神经网络块，第五卷积层的输入端接收Z₁中的所有特征图，第五卷积层的输出端输出128幅特征图，将128幅特征图构成的集合记为C₅；第六卷积层的输入端接收C₅中的所有特征图，第六卷积层的输出端输出128幅特征图，将128幅特征图构成的集合记为C₆；第二最大池化层的输入端接收C₆中的所有特征图，第二最大池化层的输出端输出128幅特征图，将128幅特征图构成的集合记为Z₂；第七卷积层的输入端接收C₆中的所有特征图，第七卷积层的输出端输出128幅特征图，将128幅特征图构成的集合记为C₇；第八卷积层的输入端接收C₆中的所有特征图，第八卷积层的输出端输出128幅特征图，将128幅特征图构成的集合记为C₈；其中，C₅、C₆、C₇、C₈各自中的每幅特征图的宽度为高度为Z₂中的每幅特征图的宽度为高度为对于第3个神经网络块，第九卷积层的输入端接收Z₂中的所有特征图，第九卷积层的输出端输出256幅特征图，将256幅特征图构成的集合记为C₉；第十卷积层的输入端接收C₉中的所有特征图，第十卷积层的输出端输出256幅特征图，将256幅特征图构成的集合记为C₁₀；第十一卷积层的输入端接收C₁₀中的所有特征图，第十一卷积层的输出端输出256幅特征图，将256幅特征图构成的集合记为C₁₁；第三最大池化层的输入端接收C₁₁中的所有特征图，第三最大池化层的输出端输出256幅特征图，将256幅特征图构成的集合记为Z₃；第十二卷积层的输入端接收C₁₁中的所有特征图，第十二卷积层的输出端输出256幅特征图，将256幅特征图构成的集合记为C₁₂；第十三卷积层的输入端接收C₁₁中的所有特征图，第十三卷积层的输出端输出256幅特征图，将256幅特征图构成的集合记为C₁₃；其中，C₉、C₁₀、C₁₁、C₁₂、C₁₃各自中的每幅特征图的宽度为高度为Z₃中的每幅特征图的宽度为高度为对于第4个神经网络块，第十四卷积层的输入端接收Z₃中的所有特征图，第十四卷积层的输出端输出512幅特征图，将512幅特征图构成的集合记为C₁₄；第十五卷积层的输入端接收C₁₄中的所有特征图，第十五卷积层的输出端输出512幅特征图，将512幅特征图构成的集合记为C₁₅；第十六卷积层的输入端接收C₁₅中的所有特征图，第十六卷积层的输出端输出512幅特征图，将512幅特征图构成的集合记为C₁₆；第四最大池化层的输入端接收C₁₆中的所有特征图，第四最大池化层的输出端输出512幅特征图，将512幅特征图构成的集合记为Z₄；第十七卷积层的输入端接收C₁₆中的所有特征图，第十七卷积层的输出端输出512幅特征图，将512幅特征图构成的集合记为C₁₇；其中，C₁₄、C₁₅、C₁₆、C₁₇各自中的每幅特征图的宽度为高度为Z₄中的每幅特征图的宽度为高度为对于第5个神经网络块，第十八卷积层的输入端接收Z₄中的所有特征图，第十八卷积层的输出端输出512幅特征图，将512幅特征图构成的集合记为C₁₈；第十九卷积层的输入端接收C₁₈中的所有特征图，第十九卷积层的输出端输出512幅特征图，将512幅特征图构成的集合记为C₁₉；第二十卷积层的输入端接收C₁₉中的所有特征图，第二十卷积层的输出端输出512幅特征图，将512幅特征图构成的集合记为C₂₀；第二十一卷积层的输入端接收C₂₀中的所有特征图，第二十一卷积层的输出端输出512幅特征图，将512幅特征图构成的集合记为C₂₁；第二十二卷积层的输入端接收C₂₁中的所有特征图，第二十二卷积层的输出端输出512幅特征图，将512幅特征图构成的集合记为C₂₂；第二十三卷积层的输入端接收C₂₂中的所有特征图，第二十三卷积层的输出端输出512幅特征图，将512幅特征图构成的集合记为C₂₃；其中，C₁₈、C₁₉、C₂₀、C₂₁、C₂₂、C₂₃各自中的每幅特征图的宽度为高度为对于第1个上采样层，第1个上采样层的输入端接收C₂₃中的所有特征图，第1个上采样层的输出端输出512幅特征图，将512幅特征图构成的集合记为Y₁；其中，Y₁中的每幅特征图的宽度为高度为对于第1个级联层，第1个级联层的输入端接收Y₁中的所有特征图和C₁₇中的所有特征图，第1个级联层的输出端输出1024幅特征图，将1024幅特征图构成的集合记为L₁；其中，L₁中的每幅特征图的宽度为高度为对于第6个神经网络块，第二十四卷积层的输入端接收L₁中的所有特征图，第二十四卷积层的输出端输出512幅特征图，将512幅特征图构成的集合记为C₂₄；第二十五卷积层的输入端接收C₂₄中的所有特征图，第二十五卷积层的输出端输出512幅特征图，将512幅特征图构成的集合记为C₂₅；第二十六卷积层的输入端接收C₂₅中的所有特征图，第二十六卷积层的输出端输出512幅特征图，将512幅特征图构成的集合记为C₂₆；其中，C₂₄、C₂₅、C₂₆各自中的每幅特征图的宽度为高度为对于第2个上采样层，第2个上采样层的输入端接收C₂₆中的所有特征图，第2个上采样层的输出端输出512幅特征图，将512幅特征图构成的集合记为Y₂；其中，Y₂中的每幅特征图的宽度为高度为对于第2个级联层，第2个级联层的输入端接收Y₂中的所有特征图和C₁₂中的所有特征图，第2个级联层的输出端输出768幅特征图，将768幅特征图构成的集合记为L₂；其中，L₂中的每幅特征图的宽度为高度为对于第7个神经网络块，第二十七卷积层的输入端接收L₂中的所有特征图，第二十七卷积层的输出端输出256幅特征图，将256幅特征图构成的集合记为C₂₇；第二十八卷积层的输入端接收C₂₇中的所有特征图，第二十八卷积层的输出端输出256幅特征图，将256幅特征图构成的集合记为C₂₈；第二十九卷积层的输入端接收C₂₈中的所有特征图，第二十九卷积层的输出端输出256幅特征图，将256幅特征图构成的集合记为C₂₉；其中，C₂₇、C₂₈、C₂₉各自中的每幅特征图的宽度为高度为对于第3个上采样层，第3个上采样层的输入端接收C₂₉中的所有特征图，第3个上采样层的输出端输出256幅特征图，将256幅特征图构成的集合记为Y₃；其中，Y₃中的每幅特征图的宽度为高度为对于第3个级联层，第3个级联层的输入端接收Y₃中的所有特征图和C₇中的所有特征图，第3个级联层的输出端输出384幅特征图，将384幅特征图构成的集合记为L₃；其中，L₃中的每幅特征图的宽度为高度为对于第8个神经网络块，第三十卷积层的输入端接收L₃中的所有特征图，第三十卷积层的输出端输出128幅特征图，将128幅特征图构成的集合记为C₃₀；第三十一卷积层的输入端接收C₃₀中的所有特征图，第三十一卷积层的输出端输出128幅特征图，将128幅特征图构成的集合记为C₃₁；其中，C₃₀、C₃₁各自中的每幅特征图的宽度为高度为对于第4个上采样层，第4个上采样层的输入端接收C₃₁中的所有特征图，第4个上采样层的输出端输出128幅特征图，将128幅特征图构成的集合记为Y₄；其中，Y₄中的每幅特征图的宽度为W、高度为H；对于第4个级联层，第4个级联层的输入端接收Y₄中的所有特征图和C₃中的所有特征图，第4个级联层的输出端输出192幅特征图，将192幅特征图构成的集合记为L₄；其中，L₄中的每幅特征图的宽度为W、高度为H；对于第9个神经网络块，第三十二卷积层的输入端接收L₄中的所有特征图，第三十二卷积层的输出端输出64幅特征图，将64幅特征图构成的集合记为C₃₂；第三十三卷积层的输入端接收C₃₂中的所有特征图，第三十三卷积层的输出端输出64幅特征图，将64幅特征图构成的集合记为C₃₃；其中，C₃₂、C₃₃各自中的每幅特征图的宽度为W、高度为H；对于第10个神经网络块，第三十四卷积层的输入端接收C₁₆中的所有特征图，第三十四卷积层的输出端输出512幅特征图，将512幅特征图构成的集合记为C₃₄；第三十五卷积层的输入端接收C₃₄中的所有特征图，第三十五卷积层的输出端输出512幅特征图，将512幅特征图构成的集合记为C₃₅；第三十六卷积层的输入端接收C₃₅中的所有特征图，第三十六卷积层的输出端输出512幅特征图，将512幅特征图构成的集合记为C₃₆；其中，C₃₄、C₃₅、C₃₆各自中的每幅特征图的宽度为高度为对于第5个上采样层，第5个上采样层的输入端接收C₃₆中的所有特征图，第5个上采样层的输出端输出512幅特征图，将512幅特征图构成的集合记为Y₅；其中，Y₅中的每幅特征图的宽度为高度为对于第5个级联层，第5个级联层的输入端接收Y₅中的所有特征图和C₁₃中的所有特征图，第5个级联层的输出端输出768幅特征图，将768幅特征图构成的集合记为L₅；其中，L₅中的每幅特征图的宽度为高度为对于第11个神经网络块，第三十七卷积层的输入端接收L₅中的所有特征图，第三十七卷积层的输出端输出256幅特征图，将256幅特征图构成的集合记为C₃₇；第三十八卷积层的输入端接收C₃₇中的所有特征图，第三十八卷积层的输出端输出256幅特征图，将256幅特征图构成的集合记为C₃₈；第三十九卷积层的输入端接收C₃₈中的所有特征图，第三十九卷积层的输出端输出256幅特征图，将256幅特征图构成的集合记为C₃₉；其中，C₃₇、C₃₈、C₃₉各自中的每幅特征图的宽度为高度为对于第6个上采样层，第6个上采样层的输入端接收C₃₉中的所有特征图，第6个上采样层的输出端输出256幅特征图，将256幅特征图构成的集合记为Y₆；其中，Y₆中的每幅特征图的宽度为高度为对于第6个级联层，第6个级联层的输入端接收Y₆中的所有特征图和C₈中的所有特征图，第6个级联层的输出端输出384幅特征图，将384幅特征图构成的集合记为L₆；其中，L₆中的每幅特征图的宽度为高度为对于第12个神经网络块，第四十卷积层的输入端接收L₆中的所有特征图，第四十卷积层的输出端输出128幅特征图，将128幅特征图构成的集合记为C₄₀；第四十一卷积层的输入端接收C₄₀中的所有特征图，第四十一卷积层的输出端输出128幅特征图，将128幅特征图构成的集合记为C₄₁；其中，C₄₀、C₄₁各自中的每幅特征图的宽度为高度为对于第7个上采样层，第7个上采样层的输入端接收C₄₁中的所有特征图，第7个上采样层的输出端输出128幅特征图，将128幅特征图构成的集合记为Y₇；其中，Y₇中的每幅特征图的宽度为W、高度为H；对于第7个级联层，第7个级联层的输入端接收Y₇中的所有特征图和C₄中的所有特征图，第7个级联层的输出端输出192幅特征图，将192幅特征图构成的集合记为L₇；其中，L₇中的每幅特征图的宽度为W、高度为H；对于第13个神经网络块，第四十二卷积层的输入端接收L₇中的所有特征图，第四十二卷积层的输出端输出64幅特征图，将64幅特征图构成的集合记为C₄₂；第四十三卷积层的输入端接收C₄₂中的所有特征图，第四十三卷积层的输出端输出64幅特征图，将64幅特征图构成的集合记为C₄₃；其中，C₄₂、C₄₃各自中的每幅特征图的宽度为W、高度为H；对于第8个级联层，第8个级联层的输入端接收C₃₃中的所有特征图和C₄₃中的所有特征图，第8个级联层的输出端输出128幅特征图，将128幅特征图构成的集合记为L₈；其中，L₈中的每幅特征图的宽度为W、高度为H；对于输出层，第四十四卷积层的输入端接收L₈中的所有特征图，第四十四卷积层的输出端输出12幅与原始输入图像对应的语义分割预测图；其中，每幅语义分割预测图的宽度为W、高度为H；步骤1_3：将训练集中的每幅原始的道路场景图像作为原始输入图像，输入到卷积神经网络中进行训练，得到训练集中的每幅原始的道路场景图像对应的12幅语义分割预测图，将{I^q(i,j)}对应的12幅语义分割预测图构成的集合记为步骤1_4：计算训练集中的每幅原始的道路场景图像对应的12幅语义分割预测图构成的集合与对应的真实语义分割图像处理成的12幅独热编码图像构成的集合之间的损失函数值，将与之间的损失函数值记为步骤1_5：重复执行步骤1_3和步骤1_4共V次，得到卷积神经网络分类训练模型，并共得到Q×V个损失函数值；然后从Q×V个损失函数值中找出值最小的损失函数值；接着将值最小的损失函数值对应的权值矢量和偏置项对应作为卷积神经网络分类训练模型的最优权值矢量和最优偏置项，对应记为W^best和b^best；其中，V＞1；所述的测试阶段过程的具体步骤为：步骤2_1：令表示待语义分割的道路场景图像；其中，1≤i'≤W'，1≤j'≤H'，W'表示的宽度，H'表示的高度，表示中坐标位置为(i,j)的像素点的像素值；步骤2_2：将的R通道分量、G通道分量和B通道分量输入到卷积神经网络分类训练模型中，并利用W^best和b^best进行预测，得到对应的预测语义分割图像，记为其中，表示中坐标位置为(i',j')的像素点的像素值。