[发明专利]一种基于注意力机制和关系网络的自动驾驶图像识别方法

权利要求书

1.一种基于注意力机制和关系网络的自动驾驶图像识别方法，其特征在于，包括以下步骤：

(1)提取自动驾驶图像特征并进行预处理；

(2)通过注意力机制计算自动驾驶图像注意力特征；

(3)利用关系网络构造注意力向量关系对，计算生成关系结果B；

(4)将步骤(3)生成的最终关系B与目标关系向量O计算欧氏距离作为损失函数值，最后再反馈回整个神经网络，反复进行训练，直到模型收敛；

(5)用训练好的模型进行自动驾驶场景关系判断；

所述步骤(3)包括以下步骤：

(31)对于F_att中任意空间位置的特征向量a_ij∈R^c,i,j∈[1,d]，仅当掩码M对应位置的元素m_ij∈M为1时，构造注意力向量A_ij＝a_ij,i,j,A_ij∈R^c+t，其中，t为位置信息i,j的长度，数值上t＝2log₂d，将所有注意力向量加入集合S＝{A_ij|i,j∈[1,d]}；

(32)将集合S中的任意元素A_ij，A_lk两两组合构成关系对A_ij，A_lk，并传入多层感知器网络MLP得到获得相应的关系向量B_ijlk∈R²⁵⁶；

(33)将生成的所有关系向量B_ijlk逐元素相加依次传入MLP和softmax函数层，生成最终的关系结果B。

2.根据权利要求1所述的基于注意力机制和关系网络的自动驾驶图像识别方法，其特征在于，所述步骤(1)包括以下步骤：

(11)自动驾驶数据集由一系列图像组成，设任一图像为I∈R^W×H×C，其中，W为像素宽度，H为像素高度，C为通道数；对于每一幅图像，标注出其中的对象，并定义对象之间的关系，然后将所有对象与当前自动驾驶车辆以及它们两两之间的关系向量作为训练目标O；

(12)将图像I输入卷积神经网络，进行4次卷积操作，得到特征映射F，F∈R^c×d×d，其中，c是通道特征维度，d为空间特征的宽度及高度，卷积核尺寸为5×5×24。

3.根据权利要求1所述的基于注意力机制和关系网络的自动驾驶图像识别方法，其特征在于，所述步骤(2)包括以下步骤：

(21)对于特征映射F，在通道维度上使用最大池化层和平均池化层，聚化特征F的空间信息，产生最大池化特征MP∈R^d×d和平均池化特征AP∈R^d×d；

(22)对MP和AP同时进行单层卷积操作，卷积核尺寸为1×1，得到压缩特征矩阵N＝Conv(MP,AP),N∈R^d×d；

(23)将压缩特征矩阵N传入softmax函数，生成概率矩阵P，再将P传入二值化函数，获得0-1注意力掩码M∈{0,1}^d×d；

(24)将特征F与掩码M以广播方式逐个元素相乘，以得到注意力特征F_att，即：

F_att∈R^c×d×d。

4.根据权利要求2所述的基于注意力机制和关系网络的自动驾驶图像识别方法，其特征在于，步骤(11)所述的对象包括人、车、道路、路边设施、障碍物；所述的对象之间的关系包括前、后、左、右、远、近关系。