[发明专利]一种基于深度学习目标检测的交通信号灯故障检测方法

权利要求书

1.一种基于深度学习目标检测的交通信号灯故障检测方法，其特征在于：所述方法包括如下步骤：

步骤1，根据摄像头历史采集的视频数据，标注检测目标位置，检测目标包括信号灯、倒计时牌；以图像左上角为原点建立坐标系，检测目标位置信息通过物体外边框巨像的左上角坐标、右下角坐标确定；

步骤2，以T为画面提取时间间隔，从实时视频流数据中提取一帧图像，构建h×w×3阶特征图矩阵F，其中h为图像高度、w为图像宽度、3为通道数；根据检测目标位置信息，从F中截取信号灯、倒计时牌子矩阵；画面提取时间间隔T取值为1s；对信号灯故障进行识别转入步骤3，对倒计时牌故障进行识别转入步骤7；

步骤3，若存在高度大于宽度的信号灯子矩阵，则对其进行转置处理；采用双三次插值，将信号灯子矩阵转化为高度、宽度一致的p×p×3阶矩阵SF_i，完成对信号灯子矩阵的特征图的一致性处理；p为信号灯子矩阵高度，i为子矩阵编号，其数值为1～n，n为步骤2图像中的信号灯数量，SF_i为一致性处理后的信号灯第i个子矩阵；将所有子矩阵拼接得到输入张量Tc＝[SF₁,SF₂,...,SF_n]；

步骤4，采用MobileNet V2网络结构的构建信号灯目标检测模型；Tc输入模型后得到输出张量每一行的数值分别指代各信号灯子矩阵所指代的信号灯子图中红灯亮、黄灯亮、绿灯亮的概率；

步骤5，构建信号灯状态判别模型，基于目标检测模型输出张量对信号灯亮灯状态与灯色进行自动识别；基于判别结果，对信号灯子矩阵的灯色状态进行标记：红灯亮、黄灯亮、绿灯亮、灭灯、灯色冲突；信号灯状态判别模型实现灯色冲突、灭灯状态和灯色识别；

步骤6，对视频流中提取出的各帧图像在经由信号灯状态判别模型处理后输出的灯色状态结果，构建时间序列；构建基于状态判断结果时间序列分析的信号灯故障模型，从而基于实时视频流进行信号灯故障动态检测；信号灯故障动态检测包括灭灯故障、黄闪故障、常亮故障、灯色显示异常、灯色异常跳动；

步骤7，采用卷积神经网络与注意力机制相结合的深度学习网络结构构建文本分类模型，其中卷积循环神经网络实现特征表达，结合注意力机制对网络结构进行优化升级，降低网络复杂度，提升网络分类效果；将步骤2获得的倒计时牌子矩阵转化为灰度矩阵；采用双三次插值，将倒计时牌子矩阵转化为高度、宽度一致的u×v阶矩阵BF _j，u、v分别取值为32、48，j为倒计时牌子矩阵编号，其数值为1～m，m为步骤2图像中的倒计时牌数量，BF_j为对应第j个倒计时牌子图的子矩阵；将所有子矩阵拼接得到输入张量Tc_b＝[BF₁,BF₂,...,BF_m]，输入文本分类模型后输出倒计时牌显示数值识别结果；

步骤8，对视频流中提取出的各帧图像在经由文本分类模型处理后输出的倒计时牌显示数值识别结果，构建时间序列；构建基于数值识别结果时间序列分析的倒计时牌故障识别模型；故障识别包括数字未跳动故障判别、数字显示异常判别、数秒异常故障判别。

2.根据权利要求1所述的一种基于深度学习目标检测的交通信号灯故障检测方法，其特征在于，步骤5中的信号灯状态判别模型包括：

(1)灯色冲突：且

(2)灭灯状态：

(3)灯色识别：在不存在灯色冲突与灭灯状态时，可进行亮灯的灯色判别，即亮灯概率最大值所对应的灯色判定为张量列序号i对应的信号灯子矩阵的亮灯灯色；

式中，a、b均指代输出张量中的行序号，i指代输出张量中的列序号；p₁、p₂分别为亮灯概率阈值、不同灯色均亮灯的核查阈值；p₃、p₄分别为存在亮灯状态的最小阈值以及红黄绿各灯色未亮灯的判别阈值。