[发明专利]基于注意力机制的车灯状态识别方法、装置、终端和介质

权利要求书

1.一种基于注意力机制的车灯状态识别方法，其特征在于，所述方法包括：

获取包含待识别车辆的图像序列；

通过预先构建的车灯状态识别模型中的第一编码器获取由所述图像序列中每相邻两帧图像表征的帧间图像编码特征；

利用对各帧间图像编码特征进行局部空间注意力计算得到的局部空间注意力计算结果对所述各帧间图像编码特征进行加权；

针对由各加权帧间图像编码特征拆分的第一组成部分编码特征和第二组成部分编码特征，通过所述车灯状态识别模型中的第二编码器获取对应组成部分的全局编码特征，得到所述各加权帧间图像编码特征各自对应的第一组成部分全局编码特征和第二组成部分全局编码特征；

将所述各加权帧间图像编码特征各自对应的第一组成部分全局编码特征和第二组成部分全局编码特征融合为与车灯状态类别相适配的基础全局特征；

利用对各基础全局特征进行全局空间注意力计算得到的全局空间注意力计算结果对所述各基础全局特征进行加权，得到各空间加权的基础全局特征；

利用对所述各空间加权的基础全局特征进行时间注意力计算得到的时间注意力计算结果对所述各空间加权的基础全局特征进行加权，得到各时空加权的基础全局特征；

将所述各时空加权的基础全局特征依序拼接后输入至所述车灯状态识别模型中的与所述车灯状态类别相对应的车灯状态分类器，得到所述车灯状态分类器输出的由所述图像序列表征的所述待识别车辆的车灯状态。

2.根据权利要求1所述的方法，其特征在于，

所述车灯状态类别包括转向灯状态；

所述将所述各加权帧间图像编码特征各自对应的第一组成部分全局编码特征和第二组成部分全局编码特征融合为与车灯状态类别相适配的基础全局特征，包括：

将所述第一组成部分全局编码特征与所述第二组成部分全局编码特征相减，得到与所述转向灯状态相适配的基础全局特征。

3.根据权利要求2所述的方法，其特征在于，

所述车灯状态分类器包括转向灯状态分类器；

所述将所述各时空加权的基础全局特征依序拼接后输入至所述车灯状态识别模型中的与所述车灯状态类别相对应的车灯状态分类器，得到所述车灯状态分类器输出的由所述图像序列表征的所述待识别车辆的车灯状态，包括：

将所述各时空加权的基础全局特征依序拼接，得到用于识别转向灯状态的时空加权特征拼接结果；

将所述用于识别转向灯状态的时空加权特征拼接结果输入至所述转向灯状态分类器，以使所述转向灯状态分类器输出所述待识别车辆的转向灯状态；

其中，所述待识别车辆的转向灯状态为左转向、右转向或无转向。

4.根据权利要求1所述的方法，其特征在于，

所述车灯状态类别包括刹车灯状态和/或应急双闪灯状态；

所述将所述各加权帧间图像编码特征各自对应的第一组成部分全局编码特征和第二组成部分全局编码特征融合为与车灯状态类别相适配的基础全局特征，包括：

将所述第一组成部分全局编码特征与所述第二组成部分全局编码特征相拼接，得到与所述刹车灯状态和/或应急双闪灯状态相适配的基础全局特征。

5.根据权利要求4所述的方法，其特征在于，

所述车灯状态分类器包括刹车灯分类器和/或应急双闪灯分类器；

所述将所述各时空加权的基础全局特征依序拼接后输入至所述车灯状态识别模型中的与所述车灯状态类别相对应的车灯状态分类器，得到所述车灯状态分类器输出的由所述图像序列表征的所述待识别车辆的车灯状态，包括：

将所述各时空加权的基础全局特征依序拼接，得到用于识别刹车灯状态和/或应急双闪灯状态的时空加权特征拼接结果；

将用于识别刹车灯状态的时空加权特征拼接结果输入至所述刹车灯分类器，以使所述刹车灯分类器输出所述待识别车辆的刹车灯状态；

其中，所述待识别车辆的刹车灯状态为无刹车、刹车灯亮起或刹车灯熄灭；

和/或，

将用于识别应急双闪灯状态的时空加权特征拼接结果输入至所述应急双闪灯分类器，以使所述应急双闪灯分类器输出所述待识别车辆的应急双闪灯状态；

其中，所述待识别车辆的应急双闪灯状态为无应急双闪灯或有应急双闪灯。