[发明专利]一种基于卷积神经网络的道路场景语义分割方法

权利要求书

1.一种基于卷积神经网络的道路场景语义分割方法，其特征在于：包括训练阶段和测试阶段两个过程；

所述的训练阶段的具体步骤为：

步骤1_1：选取Q幅原始的道路场景图像及每幅原始的道路场景图像(RGB)对应的热力图(Thermat)和真实语义分割图像，利用HHA编码方式将热力图处理成三通道并与原始的道路场景图像(RGB)叠加形成彩色热力图像(RT)，利用独热编码方法将真实语义分割图像转换为9幅独热编码图像，将9幅独热编码图像构成的集合作为语义分割标签图集，Q幅原始的道路场景图像(RGB)与对应的热力图(Thermat)、彩色热力图像(RT)、语义分割标签图构成训练集，其中，Q为正整数，Q≥200；

步骤1_2：构建卷积神经网络：

卷积神经网络包括三个输入层、隐层和输出层；隐层包括第一神经网络块、第二神经网络块、第三神经网络块、第四神经网络块、第五神经网络块、第六神经网络块、第七神经网络块、第八神经网络块、第九神经网络块、第十神经网络块、第一卷积块、第二卷积块、第三卷积块、可分离上采样块(SUB)、第一联合金字塔上采样模块(JPU1)和第二联合金字塔上采样模块(JPU2)；第一输入层、第一神经网络块、第二神经网络块、第三神经网络块、第四神经网络块和第五神经网络块依次连接，第三神经网络块、第四神经网络块和第五神经网络块的输出输入到第一联合金字塔上采样模块(JPU1)，第一联合金字塔上采样模块(JPU1)的输出输入到第五双线性插值层，第二输入层、第一卷积块和第二卷积块依次连接，第三输入层、第六神经网络块、第七神经网络块、第八神经网络块、第九神经网络块和第十神经网络块依次连接，第八神经网络块、第九神经网络块和第十神经网络块的输出输入到第二联合金字塔上采样模块(JPU2)，第二联合金字塔上采样模块(JPU2)的输出输入到第六双线性插值层，第五双线性插值层和第五双线性插值层的输出先进行像素的加和后再与第二卷积块、第一神经网络块、第六神经网络块的输出进行通道的叠加后输入第三卷积块，第三卷积块依次连接可分离上采样块(SUB)和输出层；

步骤1_3：将训练集中原始的道路场景图像和对应的热力图、彩色热力图像输入到卷积神经网络的输入层中进行训练，训练得到训练集中的每幅原始的道路场景图像对应的9幅语义分割预测图；

步骤1_4：利用分类交叉熵计算9幅语义分割预测图构成的集合与对应的语义分割标签图的损失函数值，每幅原始的道路场景图像获得一个损失函数值；

步骤1_5：重复执行步骤1_3和步骤1_4共V次，其中，V＞1，得到卷积神经网络分类训练模型，并总共得到Q×V个损失函数值；然后从Q×V个损失函数值中找出最小的损失函数值，将最小的损失函数值对应的权值矢量和偏置项对应作为卷积神经网络分类训练模型的最优权值矢量和最优偏置项；

所述的测试阶段的具体步骤为：

步骤2_1：待语义分割的道路场景图像记为其中，1≤i'≤W'，1≤j'≤H'，W'表示待语义分割的道路场景图像的宽度，H'表示待语义分割的道路场景图像的高度，i'、j'分别表示坐标位置为(i',j')的像素点的横纵坐标，表示待语义分割的道路场景图像中坐标位置为(i',j')的像素点的像素值；将待语义分割的道路场景图像对应的待语义分割热力图记为表示待语义分割热力图中坐标位置为(i',j')的像素点的像素值；

步骤2_2：将待语义分割的道路场景图像和待语义分割热力图分别输入到卷积神经网络训练模型的第一输入层和第三输入层中，并利用最优权值矢量和最优偏置项进行预测，得到待语义分割的道路场景图像对应的语义分割预测图像，记为其中，表示语义分割预测图像中坐标位置为(i',j')的像素点的像素值。