[发明专利]交通信号灯检测及智能驾驶方法和装置、车辆、电子设备

说明书

本申请实施例公开了一种交通信号灯检测及智能驾驶方法和装置、车辆、电子设备，其中，交通信号灯检测方法，包括：获取包括有交通信号灯的视频流；确定所述视频流的至少一帧图像中交通信号灯的候选区域；基于所述候选区域确定所述图像中交通信号灯的至少两种属性。基于本申请上述实施例，通过获得交通信号灯的至少两种属性实现对信号灯的多种信息的识别，减少了识别时间，并提高了交通信号灯识别的准确率。

技术领域

本申请涉及计算机视觉技术，尤其是一种交通信号灯检测及智能驾驶方法和装置、车辆、电子设备。

背景技术

红绿灯检测及其状态判定是智能驾驶领域的重要问题。红绿灯是重要的交通信号，在现代交通系统中有着不可替代的作用。红绿灯检测及其状态判定可以在自动驾驶中指示车辆的停止、前进，保证车辆的安全行驶。

发明内容

本申请实施例提供一种交通信号灯检测及智能驾驶技术。

本申请实施例的一方面，提供了一种交通信号灯检测方法，所述检测网络包括：基于区域的全卷积网络和多任务识别网络，包括：

获取包括有交通信号灯的视频流；

确定所述视频流的至少一帧图像中交通信号灯的候选区域；

基于所述候选区域确定所述图像中交通信号灯的至少两种属性。

可选地，所述交通信号灯的至少两种属性包括以下任意两种或两种以上：位置区域、颜色和形状。

可选地，所述确定所述视频流的至少一帧图像中交通信号灯的候选区域，包括：利用基于区域的全卷积网络，确定所述视频流的至少一帧图像中交通信号灯的候选区域。

可选地，所述基于所述候选区域确定所述图像中交通信号灯的至少两种属性，包括：利用多任务识别网络，基于所述候选区域确定所述图像中交通信号灯的至少两种属性。

可选地，所述多任务识别网络包括特征提取分支、以及分别与所述特征提取分支连接的至少两个任务分支，不同的任务分支用于确定所述交通信号灯的不同种类属性；

所述利用多任务识别网络，基于所述候选区域确定所述图像中交通信号灯的至少两种属性，包括：

基于所述特征提取分支对所述候选区域进行特征提取，得到候选特征；

分别利用各所述任务分支基于所述候选特征获取所述图像中交通信号灯的至少两种属性。

可选地，所述至少两个任务分支包括：检测分支、识别分支和分类分支；

所述分别利用各所述任务分支基于所述候选特征获取所述图像中交通信号灯的至少两种属性，包括：

经所述检测分支对所述候选特征进行位置检测，确定交通信号灯的位置区域；

经所述分类分支对所述候选特征进行颜色分类，确定交通信号灯所在位置区域的颜色，确定所述交通信号灯的颜色；

经所述识别分支对所述候选特征进行形状识别，确定所述交通信号灯所在位置区域的形状，确定所述交通信号灯的形状。

可选地，所述确定所述视频流的至少一帧图像中交通信号灯的候选区域之前，还包括：

对所述视频流中的所述图像进行关键点识别，确定所述图像中的交通信号灯的关键点；

对所述视频流中的交通信号灯的关键点进行跟踪，得到跟踪结果；

基于所述跟踪结果对所述交通信号灯的位置区域进行调整。

可选地，所述对所述视频流中的交通信号灯的关键点进行跟踪，包括：

基于连续两帧所述图像中各所述交通信号灯的关键点之间的距离；