[发明专利]基于多标签分类的道路交通标志的识别方法

权利要求书

1.一种基于多标签分类的道路交通标志的识别方法，提取出每个道路交通标志的所有标签；进行预测得到道路交通标志的多标签模板，用于判断待识别的道路交通标志图像是否属于该道路交通标志；所述预测使用卷积神经网络作为学习器，使用多标签分类器进行分类，通过计算待识别的道路交通标志图像的多标签模板和标准道路交通标志的多标签模板之间的匹配程度，判别待识别的道路交通标志图像是否属于该道路交通标志；包括如下步骤：

1)提取得到标准道路交通标志的组成与全部标签，将提取出的全部标签作为道路交通标志的模板；

2)根据每个道路交通标志的模板，构造多标签分类数据集，即多标签分类形式化模板；执行如下操作：

21)根据道路交通标志的每个标签是否存在于该道路交通标志的模板中，得到训练和预测时使用的多标签掩码，该多标签掩码由定长的二进制串组成，其中0代表该道路交通标志的模板中不含该标签，1代表该道路交通标志的模板中含有该标签；多标签掩码用于卷积神经网络训练和预测；

将每个道路交通标志t生成的模板定义为多标签掩码：

其中，m为道路交通标志的数量；

22)将所有道路交通标志相应的多标签掩码构成多标签分类模板；

3)使用步骤2)构造的多标签分类模板训练卷积神经网络，得到训练好的卷积神经网络；具体执行如下操作：

31)将卷积神经网络的最后一个全连接层作为多标签分类层，其中神经元的个数为多标签分类模板中标签的个数；

32)进行神经网络训练，使用损失函数计算训练集的损失；损失函数表示为：

l(x,y)＝L＝{l₁,…,l_n}l_n＝-(y_n·logx_n+(1-y_n)·log(1-x_n))

其中，x,y分别为卷积神经网络对输入图像预测的标签模板所组成的张量及其对应的真实的多标签掩码所组成的张量；l(x,y)为二元交叉熵损失函数；l₁,…,l_n为每个输入图像样本对应的损失函数；x_n为卷积神经网络预测出来的第n个样本的每个标签的概率所组成的向量；y_n为真实标签所对应的多标签掩码向量；

33)全连接层中的每个神经元输出的值为该神经元对应的标签是否存在的分数；

34)该分数通过激活函数激活后，得到待识别的道路交通标志图像中是否存在该标签的概率；

4)使用训练好的卷积神经网络预测待识别的道路交通标志图像所属的道路交通标志的类别；执行如下操作：

41)预测得到待识别的道路交通标志图像中存在每个标签的概率；

42)使用下式计算图像i匹配第j个道路交通标志的概率p_ij：

其中，k为标签的个数，x_in为卷积神经网络预测图像i包含标签n的概率，y_jn为第j个道路交通标志包含标签n的掩码值；

43)从所有的p_ij中选取概率最大的道路交通标志r作为模型道路交通标志识别的结果；

通过上述步骤，实现基于多标签分类的道路交通标志的识别。

2.如权利要求1所述基于多标签分类的道路交通标志的识别方法，其特征是，步骤1)提取得到标准道路交通标志的组成与全部标签，将提取出的全部标签作为道路交通标志的模板；具体针对道路交通禁令标志，形状分类包括：是否为圆形、顶角朝下的等边三角形和八角形；颜色分类包括：是否为白底红圈、蓝底红圈、白底黑圈及红底红圈；图案分类包括：是否有红竖杠、红斜杠、禁止斜杠和黑细斜杠；方向箭头分类包括：是否含有直行箭头、向左箭头、向右箭头、掉头箭头和超车箭头；组成分类包括：是否含有摩托车、非机动车、人力客运三轮车、人力货运三轮车、人力车、畜力车、电动三轮车、行人、危险物品车、机动车、小客车、客车、载货汽车、挂车、三轮汽车、喇叭和拖拉机。

3.如权利要求1所述基于多标签分类的道路交通标志的识别方法，其特征是，所述卷积神经网络包括但不限于VGG、ResNet、Inception、DenseNet、MobileNet或ShuffleNet。