[发明专利]交通信号灯检测及智能驾驶方法和装置、车辆、电子设备

权利要求书

1.一种交通信号灯检测方法，其特征在于，包括：

获取包括有交通信号灯的视频流；

确定所述视频流的至少一帧图像中交通信号灯的候选区域；

利用多任务识别网络，基于所述候选区域确定所述图像中交通信号灯的至少两种属性，其中，所述至少两种属性包括信号灯的位置区域以及以下至少之一：颜色和形状；

其中，所述确定所述视频流的至少一帧图像中交通信号灯的候选区域之前，还包括：

对所述视频流中的所述图像进行关键点识别，确定所述图像中的交通信号灯的关键点；

对所述视频流中的交通信号灯的关键点进行跟踪，得到跟踪结果；

对比所述跟踪结果与所述信号灯的位置区域是否重合；

响应于所述交通信号灯的关键点对应的位置区域和所述信号灯的位置区域不重合，以所述交通信号灯的关键点对应的位置区域替换所述信号灯的位置区域。

2.根据权利要求1所述的方法，其特征在于，所述确定所述视频流的至少一帧图像中交通信号灯的候选区域，包括：利用基于区域的全卷积网络，确定所述视频流的至少一帧图像中交通信号灯的候选区域。

3.根据权利要求1或2所述的方法，其特征在于，所述多任务识别网络包括特征提取分支、以及分别与所述特征提取分支连接的至少两个任务分支，不同的任务分支用于确定所述交通信号灯的不同种类属性；

所述利用多任务识别网络，基于所述候选区域确定所述图像中交通信号灯的至少两种属性，包括：

基于所述特征提取分支对所述候选区域进行特征提取，得到候选特征；

分别利用各所述任务分支基于所述候选特征获取所述图像中交通信号灯的至少两种属性。

4.根据权利要求3所述的方法，其特征在于，所述至少两个任务分支包括：检测分支、识别分支和分类分支；

所述分别利用各所述任务分支基于所述候选特征获取所述图像中交通信号灯的至少两种属性，包括：

经所述检测分支对所述候选特征进行位置检测，确定交通信号灯的位置区域；

经所述分类分支对所述候选特征进行颜色分类，确定交通信号灯所在位置区域的颜色，确定所述交通信号灯的颜色；

经所述识别分支对所述候选特征进行形状识别，确定所述交通信号灯所在位置区域的形状，确定所述交通信号灯的形状。

5.根据权利要求1或2所述的方法，其特征在于，所述对所述视频流中的交通信号灯的关键点进行跟踪，包括：

基于连续两帧所述图像中各所述交通信号灯的关键点之间的距离；

基于各所述交通信号灯的关键点之间的距离对所述视频流中的交通信号灯的关键点进行跟踪。

6.根据权利要求5所述的方法，其特征在于，所述基于所述交通信号灯的关键点之间的距离对所述视频流中的交通信号灯的关键点进行跟踪，包括：

基于各所述交通信号灯的关键点之间的距离，确定连续两帧图像中同一交通信号灯的关键点的位置区域；

根据所述同一交通信号灯的关键点在连续两帧所述图像中的位置区域，在所述视频流中对交通信号灯的关键点进行跟踪。

7.根据权利要求1-2任一所述的方法，其特征在于，所述确定所述视频流的至少一帧图像中交通信号灯的候选区域之前，还包括：

基于采集的训练图像集训练所述基于区域的全卷积网络，所述训练图像集包括多个具有标注属性的训练图像；

基于所述训练图像集调整所述基于区域的全卷积网络和所述多任务识别网络中的参数。

8.根据权利要求7所述的方法，其特征在于，所述基于所述训练图像集调整所述基于区域的全卷积网络和所述多任务识别网络中的参数之前，还包括：

基于所述训练图像集获取交通信号灯的颜色比例符合预设比例的新训练图像集；

基于所述新训练图像集训练分类网络；所述分类网络用于基于所述交通信号灯的颜色对所述训练图像进行分类。