[发明专利]一种基于注意力机制和关系网络的自动驾驶图像识别方法

说明书

本发明提出了一种基于注意力机制和关系网络的自动驾驶图像识别方法，首先，使用卷积神经网络提取自动驾驶图像特征；接着，通过注意力机制计算注意力特征；然后，利用关系网络生成图像中对象之间的关系结果；最后通过损失函数训练网络，并用训练好的模型进行自动驾驶场景的关系判断。本发明运用关系网络识别自动驾驶图像，能显式表达图像中对象之间的关系，从而提高识别和推理的准确性；此外，引入了新的注意力机制，降低了模型在处理复杂自动驾驶场景时的计算复杂度，提高了模型有效性和学习效率。

技术领域

本发明属于人工智能、自动驾驶领域，具体涉及一种基于注意力机制和关系网络的自动驾驶图像识别方法。

背景技术

深度学习是机器学习领域中的一个新的研究方向，被引入机器学习，使其更接近人工智能。最终目的是让机器能够像人类一样，具有分析学习能力，能够识别文字、声音和图像等数据。

卷积神经网络可以说是传统神经网络的改进，沿用了层级网络的结构，但在层的功能和形式上进行了改变。处理原始数据时，将输入进行卷积计算、非线性函数激活、池化操作、全连接操作等一系列的操作，将特征信息从原始数据中逐步提取出来。以上过程为“前馈运算”。在卷积网络的最后一层，输出目标函数，通过设计损失函数，计算真实值和预测值之间的误差，之后通过反向传播算法，将误差先前逐层反馈，更新参数，并再次向前反馈，多次重复之后，使网络模型达到收敛的效果，达到模型训练的目的。

目前基于人工神经网络的图像识别技术已经比较成熟，甚至可以将人眼不易识别的物体在图像中标注出来，可以认为在某些方面，人工神经网络的表现已经超越了人类。但是一般的卷积神经网络并不具备解决关系问题的通用能力，并且在自动驾驶中，识别出物体的目的是为了判断物体之间的位置关系，因此需要将“关系”这一要素添加到神经网络的训练过程当中。Adam Santoro等提出了一种用于关系推理的简单神经网络模块——关系网络，使人工神经网络获得了关系推理能力。在后续的工作中，Adam Santoro等也表明了，配备关系网络模块的深度学习架构能够发现并且学习取推理关系。

同时，注意力机制已在深度学习中被广泛应用。注意力机制源于对人类视觉的研究，注意力模型最初被用于机器翻译，现在已成为神经网络领域的一个重要概念。注意力机制可以利用人类视觉机制进行直观解释。例如，我们的视觉系统倾向于关注图像中辅助判断的部分信息，并忽略掉不相关的信息。同样，在涉及语言或视觉的问题中，输入的某些部分可能会比其他部分对决策更有帮助。

本方法中，通过添加注意力机制，将关系网络原本将所有物体两两组合产生的关系对优化为筛选之后的物体两两组合产生的关系对，降低了无关关系因素的干扰。

发明内容

发明目的：针对自动驾驶图像识别中，神经网络模型无法直接得到物体之间位置关系的问题，提出一种基于注意力机制和关系网络的自动驾驶图像识别方法，将注意力机制引入关系神经网络以降低模型复杂度，并能在图像识别中，较准确地得到图像中物体之间的位置关系。

发明内容：本发明提出一种基于注意力机制和关系网络的自动驾驶图像识别方法，具体包括以下步骤：

(1)提取自动驾驶图像特征并进行预处理；

(2)通过注意力机制计算自动驾驶图像注意力特征；

(3)利用关系网络构造注意力向量关系对，计算生成关系结果B；

(4)将步骤(3)生成的最终关系B与目标关系向量O计算欧氏距离作为损失函数值，最后再反馈回整个神经网络，反复进行训练，直到模型收敛；

(5)用训练好的模型进行自动驾驶场景关系判断。

进一步地，所述步骤(1)包括以下步骤：