[发明专利]基于注意力机制的车灯状态识别方法、装置、终端和介质

说明书

本申请涉及智能驾驶技术领域，提供了一种基于注意力机制的车灯状态识别方法、装置、终端和介质。本申请能够精确预测图像序列整体表征的车灯状态。方法包括：通过车灯状态识别模型的第一编码器提取图像序列中每相邻两帧所表征的帧间图像编码特征，基于局部空间注意力对各编码特征分别进行加权后分别拆分成两部分编码特征，通过模型的第二编码器获取两部分各自的全局编码特征，将该两部分各自的全局编码特征融合为与车灯状态类别相适配的基础全局特征，基于全局空间注意力对各基础全局特征进行加权后再基于时间注意力对各空间加权的基础全局特征进行加权，将各时空加权的基础全局特征依序拼接后输入相应车灯状态分类器得到图像序列表征的车灯状态。

技术领域

本申请涉及智能驾驶技术领域，特别是涉及一种基于注意力机制的车灯状态识别方法、装置、车载终端和存储介质。

背景技术

车灯状态能够反映包括前方车辆和周边车道车辆的行驶状态，例如：前方车辆的刹车灯亮起时需及时采取减速措施避免追尾、周边车道车辆发出转向灯信号时需注意减速让其顺利变道、前方车辆因发生故障而打开应急闪光灯时需注意减速绕行等。

在具体应用中，例如在开发高级辅助驾驶系统以及更高级的自动驾驶系统的过程中，自适应巡航控制（Adaptive Cruise Control，ACC）功能须具备识别车灯状态的能力，从而在周边车辆通过车灯发出减速、变道或故障信号时，能够及时采取措施以避免交通事故的发生，使开发的智能驾驶系统具备适应复杂多变的道路驾驶环境的能力。

传统技术所提供的车灯状态识别方案需先进行车灯定位再根据车灯的亮灭状态分类分析车灯状态。然而，这种方式通常难以适应复杂多变的道路驾驶环境，且车灯设计形式层出不穷，导致其对车灯区域分割定位极其困难，存在对车灯状态识别的准确度低的技术问题。

发明内容

基于此，有必要针对上述技术问题，提供一种基于注意力机制的车灯状态识别方法、装置、车载终端和存储介质。

一种基于注意力机制的车灯状态识别方法，所述方法包括：

获取包含待识别车辆的图像序列；

通过预先构建的车灯状态识别模型中的第一编码器获取由所述图像序列中每相邻两帧图像表征的帧间图像编码特征；

利用对各帧间图像编码特征进行局部空间注意力计算得到的局部空间注意力计算结果对所述各帧间图像编码特征进行加权；

针对由各加权帧间图像编码特征拆分的第一组成部分编码特征和第二组成部分编码特征，通过所述车灯状态识别模型中的第二编码器获取对应组成部分的全局编码特征，得到所述各加权帧间图像编码特征各自对应的第一组成部分全局编码特征和第二组成部分全局编码特征；

将所述各加权帧间图像编码特征各自对应的第一组成部分全局编码特征和第二组成部分全局编码特征融合为与车灯状态类别相适配的基础全局特征；

利用对各基础全局特征进行全局空间注意力计算得到的全局空间注意力计算结果对所述各基础全局特征进行加权，得到各空间加权的基础全局特征；

利用对所述各空间加权的基础全局特征进行时间注意力计算得到的时间注意力计算结果对所述各空间加权的基础全局特征进行加权，得到各时空加权的基础全局特征；

将所述各时空加权的基础全局特征依序拼接后输入至所述车灯状态识别模型中的与所述车灯状态类别相对应的车灯状态分类器，得到所述车灯状态分类器输出的由所述图像序列表征的所述待识别车辆的车灯状态。

一种基于注意力机制的车灯状态识别装置，包括：

图像序列获取模块，用于获取包含待识别车辆的图像序列；

帧间特征获取模块，用于通过预先构建的车灯状态识别模型中的第一编码器获取由所述图像序列中每相邻两帧图像表征的帧间图像编码特征；