[发明专利]一种道路交通标志牌识别方法及装置

权利要求书

1.一种道路交通标志牌识别方法，其特征在于，包括：

获取待识别的图像，所述待识别的图像中包括交通标志牌；

基于第一轻量级卷积神经网络，对所述图像进行特征提取；其中，所述第一轻量级卷积神经网络包括依次连接的一个标准卷积层以及五个深度卷积层，所述五个深度卷积层中的第三个深度卷积层输出的特征图和第四个深度卷积层输出的特征图进行多分枝卷积后，与第五个深度卷积层输出的特征图进行融合；

基于多层次特征金字塔网络MLFPN，对所述第一轻量级卷积神经网络提取到的特征进行多级多尺度特征提取，得到至少一个候选交通标志牌边界框、所述至少一个候选交通标志牌边界框中各边界框对应的交通标志牌类别以及置信度；

根据各候选交通标志牌边界框对应的置信度，从所述至少一个候选交通标志牌边界框中选择满足置信度要求的交通标志牌边界框，得到识别出的目标交通标志牌；

基于第二轻量级卷积神经网络，对所述目标交通标志牌进行状态检测，得到所述目标交通标志牌的状态，所述目标交通标志牌的状态包括倾倒、正常状态中的一种。

2.如权利要求1所述的方法，其特征在于，所述第一轻量级卷积神经网络的深度卷积层包括深度卷积单元和逐点卷积单元；

所述深度卷积单元用于：使用3＊3的卷积核对各通道进行深度卷积、批标准化处理以及基于Mish激活函数进行非单调平滑处理，得到各通道对应的特征图；

所述逐点卷积单元用于：使用1＊1的卷积核对所述深度卷积单元输出的各通道对应的特征图进行逐点缩放卷积、批标准化处理以及基于Mish激活函数进行非单调平滑处理。

3.如权利要求1所述的方法，其特征在于，所述第一轻量级卷积神经网络包括多分枝卷积模块，所述多分枝卷积模块用于对所述五个深度卷积层中的第三个深度卷积层输出的特征图和第四个深度卷积层输出的特征图进行多分枝卷积；

所述多分枝卷积模块包括五个并行分支，所述五个并行分支包括用于卷积处理的第一分支至第四分支以及用于传递卷积层信息的第五分枝，所述第一分支至第四分支的输出进行连接以及逐点卷积后与所述第五分支的输出进行特征添加处理；其中，所述第一分枝用于：依次使用1＊1的卷积核进行卷积、使用3＊3的卷积核与固定间隔等于1的像素进行乘法运算；所述第二分枝用于：依次使用1＊1的卷积核进行卷积、使用3＊3的卷积核进行卷积、使用3＊3的卷积核与固定间隔等于3的像素进行乘法运算；所述第三分枝用于：依次使用1＊1的卷积核进行卷积、使用3＊3的卷积核进行卷积、使用3＊3的卷积核进行卷积、使用3＊3的卷积核与固定间隔等于5的像素进行乘法运算；所述第四分枝用于：依次使用1＊1的卷积核进行卷积、使用7＊1的卷积核进行卷积、使用1＊7的卷积核进行卷积、使用3＊3的卷积核与固定间隔等于7的像素进行乘法运算。

4.如权利要求1所述的方法，其特征在于，所述根据各候选交通标志牌边界框对应的置信度，从所述至少一个候选交通标志牌边界框中选择满足置信度要求的交通标志牌边界框，包括：

执行至少一次选取过程，直到第一列表为空，将第二列表中的候选交通标志牌边界框确定为满足置信度要求的交通标志牌边界框，所述第一列表初始化为存储所有候选交通标志牌边界框，所述第二列表初始化为空；

其中，所述选取过程包括：

将所述第一列表中置信度最高的候选交通标志牌边界框转移到所述第二列表中，并作为所述第二列表中的当前候选交通标志牌边界框；

计算所述当前候选交通标志牌边界框与所述第一列表中各候选交通标志牌边界框的交并比IOU，并将所述第一列表中IOU大于设定阈值的候选交通标志牌边界框删除。

5.如权利要求1所述的方法，其特征在于，所述第二轻量级卷积神经网络包括一个第一卷积层以及至少一个第二卷积层，所述第一卷积层内包括卷积核尺寸为1＊1的残差分支，所述第二卷积层内包括卷积核尺寸为1＊1的残差分支以及恒等分支。

6.如权利要求1-5任一项所述的方法，其特征在于，所述第一轻量级卷积神经网络为MobileNet v2网络。