[发明专利]一种基于矩形注意力机制的车道线检测方法

说明书

本发明涉及图像处理和车辆智能驾驶领域，提供了一种基于矩形注意力机制的车道线检测方法，步骤包括：获取车道线图像，将所述车道线图像输入到已训练收敛的基于矩形注意力机制的车道线检测模型中进行下采样，将所述下采样后的特征图通过注意力机制网络得到注意力加权后的特征图，将所述注意力加权后的特征图上采样，将上采样后的特征图通过关键点检测网络得到包含车道线起始点在内的所有关键点坐标，采用基于距离的聚类网络，通过关键点坐标与其所属起始点间的偏移量来将关键点聚类为车道线实例。本发明解决了自动驾驶中存在的难检测车道线场景，提高了模型的推理速度和预测准确度。

技术领域

本发明涉及图像处理和车辆智能驾驶领域，尤其是指一种基于矩形注意力机制的车道线检测方法、装置、设备以及计算机可读存储介质。

背景技术

车道线检测是一项具有挑战性的任务，需要在高实时性下预测复杂的车道线拓扑形状，并同时区分不同类型的车道。近十年来，自动驾驶技术逐渐成为计算机视觉领域的研究热点，并受到学术界和产业界的广泛关注。为了确保自动驾驶车辆的安全行驶，自动驾驶系统需要准确地理解车道线的空间信息。因此，从前置摄像头获取的图像中快速计算车道线的形状和位置信息是自动驾驶系统中至关重要的一步，这要求车道线检测既要具有高准确性，又要具有高实时性。

近些年大部分的研究将车道线检测视为实例分割或目标检测问题来解决。基于实例分割的方法大多采用多类别分类方式将像素点分割为车道线或者背景。基于检测的方法利用锚的思想来预测车道线，但也有一些方法利用车道线自身特性，使用锚线来扩大锚的特征范围，以此预测车道线实例。但本申请发明人在实现本申请实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：当面对一些极端情况，例如道路遮挡，这些方法的检测性能往往不佳。在这种情况下，如何从图像中提取隐藏的车道线信息显得至关重要。

建立在图像实例分割基础上的方法，会预测出特征图中所有像素点的类别，但是对于车道线检测任务来讲，车道线本身的曲线特性就决定了车道线所含像素点占整张特征图的比例极小，大多数预测的像素点与车道线无关，就导致模型在分割过程中的计算效率低。

基于锚检测方法的不足之处：大多数车道线图像只会存在2-5条车道线，但是模型会预测出上百个锚，这就导致模型长尾效应明显，需要使用NMS(Non-MaximumSuppression)后处理方法来去除冗余的车道线锚。

发明内容

为此，本发明所要解决的技术问题在于提供一种基于矩形注意力机制的车道线检测方法，以克服现有自动驾驶中存在的道路被遮挡情况下难以检测车道线及检测效率低的问题。

为解决上述技术问题，本发明提供了一种基于矩形注意力机制的车道线检测方法，包括：获取车道线图像f∈R^{C×H′×W′}，其中C为通道数，H′为图像高度，W′为图像宽度；将所述车道线图像输入到已训练收敛的基于矩形注意力机制的车道线检测模型中，对所述车道线图像进行卷积操作得到下采样后的特征图，所述下采样后的特征图尺寸为f_ds∈R^C×P×W′，其中，C为通道数，P为图像高度，W′为图像宽度；将所述下采样后的特征图通过注意力机制网络得到Q、K、V，其中Q∈R^{P×W′×C′}、K∈R^{P×C′×W′}、V∈R^P×C×W′，所述Q和所述K通过仿射变换操作后生成注意力特征图A，通过softmax层计算所述注意力图A中各点与其处在同一水平方向上各个点的关联度，将所述注意力特征图A与所述V之间通过矩阵乘法操作，得到注意力加权后的特征图f_o∈R^C×P×W′，将注意力加权后的特征图上每一点与该点处于同一行内所有点的上下文特征信息聚合起来，将其经过卷积操作得到与原始输入特征图尺寸一致的上采样后的车道线特征图；将所述上采样后的车道线特征图输入所述基于矩形注意力机制的车道线检测模型的关键点检测网络中，输出所述上采样后的车道线特征图中包含车道线起始点在内的所有关键点坐标；采用基于距离的聚类网络，通过关键点坐标与其所属起始点间的偏移量来将关键点聚类为车道线实例。