[发明专利]一种基于深度学习的信号灯识别方法及装置

权利要求书

1.一种基于深度学习的信号灯识别方法，其特征在于，所述方法包括：

按照预设时间间隔获取目标图像，所述目标图像中至少包含一个待识别信号灯；

基于所述目标图像，利用预设深度神经网络预测模型得到所述待识别信号灯的灯盘位置、光源位置、光源类别和光源深度；

基于所述待识别信号灯的灯盘位置、光源位置、光源类别和光源深度，利用预设规则形成所述待识别信号灯对应的信号灯队列，且加入到预设信号灯队列集合中；其中，所述信号灯队列保存预设时间范围内所述待识别信号灯对应的灯盘位置、光源位置、光源类别和所述待识别信号灯与所述车辆的距离信息；

基于所述车辆的目的地信息和当前位置信息，从所述预设信号灯队列集合中确定目标信号灯对应的信号灯队列，所述目标信号灯是所述车辆预备通过的路口处设置的信号灯；

基于所述目标信号灯对应的信号灯队列保存的所述目标信号灯与所述车辆的距离信息和所述光源类别，利用预设变速规则调整所述车辆的车速，用于通过所述车辆预备通过的路口。

2.根据权利要求1所述的方法，其特征在于，所述基于所述目标图像，利用预设深度神经网络预测模型得到所述待识别信号灯的灯盘位置、光源位置、光源类别和光源深度，包括：

基于所述目标图像，利用所述预设深度神经网络预测模型中的resnet-18网络作为主干网络进行特征提取，得到目标特征；

基于所述目标特征，利用所述预设深度神经网络预测模型中的PAN-FPN结构进行特征融合，得到目标特征融合信息；

基于目标特征融合信息，利用所述预设深度神经网络预测模型中的卷积层和深度预测层得到所述待识别信号灯的所述光源深度。

3.根据权利要求2所述的方法，其特征在于，所述基于所述目标图像，利用预设深度神经网络预测模型得到所述待识别信号灯的灯盘位置、光源位置、光源类别和光源深度，包括：

基于所述目标特征融合信息，利用神经网络的全连接技术进行自动回归得到灯盘目标框位置；

将所述灯盘目标框位置和所述目标特征进行匹配，根据所述灯盘目标框位置提取ROI特征；

基于所述ROI特征进行目标框回归和类别的分类，得到所述待识别信号灯的所述光源位置和所述光源类别，其中，所述光源类别是红灯、黄灯、绿灯、向左箭头、向右箭头、向前箭头、向后箭头和数字中一种或几种。

4.根据权利要求1所述的方法，其特征在于，所述基于所述待识别信号灯的灯盘位置、光源位置、光源类别和光源深度，利用预设规则形成所述待识别信号灯对应的信号灯队列，且加入到预设信号灯队列集合中，包括：

获取所述待识别信号灯对应的尺度信息；

将所述待识别信号灯对应的所述光源深度和所述尺度信息进行融合得到所述待识别信号灯与所述车辆的距离信息；

基于所述待识别信号灯对应的所述灯盘位置、所述光源位置、光源类别和所述待识别信号灯与所述车辆的距离信息形成所述待识别信号灯对应的信号灯队列；

按照信号灯队列形成的时间先后顺序将所述待识别信号灯对应的信号灯队列加入到预设信号灯队列集合中。

5.根据权利要求1所述的方法，其特征在于，所述基于所述目标信号灯对应的信号灯队列保存的所述目标信号灯与所述车辆的距离信息和所述光源类别，利用预设变速规则调整所述车辆的车速，用于通过所述车辆预备通过的路口，包括：

判断所述目标信号灯与所述车辆的距离信息是否小于预设阈值；

若所述目标信号灯与所述车辆的距离信息不小于预设阈值，则将所述车辆的车速调整为第一预设车速；

若所述目标信号灯与所述车辆的距离信息小于预设阈值，则判断所述光源类别是否为绿灯；

若所述光源类别为绿灯，则将所述车辆的车速调整为第一预设车速；

若所述光源类别不为绿灯，则将所述车辆的车速调整为第二预设车速，且监测所述车辆是否符合预设停车条件；其中，所述预设停车条件为所述车辆到达停止线前或前方静止车辆前的预设安全距离，所述第二预设阈值小于所述第一预设阈值；

当所述车辆符合预设停车条件时，则将所述车辆的车速调整为0。