[发明专利]用于注释传感器数据的方法和系统

说明书

本发明涉及用于注释驾驶场景传感器数据的计算机实现的方法，该方法包括下列步骤：接收传感器原始数据，其中，传感器原始数据包括激光雷达传感器的多个依次相继的点云和/或一个或多个相机的多个依次相继的图像；在使用一个或多个神经网络的情况下识别在每个图像中的对象和/或每个点云中的对象；将依次相继的图像和/或点云内的对象关联；基于合理性标准去除假阳性结果；和输出驾驶场景的经注释的传感器数据。

技术领域

本发明涉及一种用于自动注释驾驶场景的传感器数据的计算机实现的方法、一种计算机能读取的数据载体和一种计算机系统。

背景技术

自主驾驶有望在日常交通中实现前所未有的舒适性和安全性。尽管各企业进行了巨大的投资，但现有方案仍仅能在有限的条件下使用或者只能实现部分真正自主行为。对此的一个原因是缺少足够数量的驾驶场景和缺少驾驶场景的多样化。为了训练自主驾驶功能，需要来自驾驶场景的经注释的传感器数据。也被称为数据富集的一种常见的数据注释方案，使用大量员工来人工注释每个图像。因此传统的数据富集方法极为耗时、易于出错并且因此极其昂贵。

一种包括关键帧注释和内插/外插的半自动的方案，提供了一定程度的、即有限的改进。这被示意性地在图2中示出并且包括选择一定数量的图像作为关键帧，借助传播/外插对所述关键帧进行人工注释。在人工处理关键帧之后，通过内插生成对中间帧的注释。因此通过人识别关键帧上的对象，人还借助外插将相关的对象链接起来。内插过程然后使用这些信息，即对象识别和对象链接，以便为关键帧之间的所有帧上的同一对象生成注释。理论上可以通过加大关键帧之间的间距来提高这种机制的效率，因为这样就会自动创建更多的注释。不过关键帧之间的间距越大，所需的人工修正的就会急剧增加。例如仅在非关键帧上能短暂看到的对象，必须通过人工干预进行覆盖。这种自动化方案在此很快就会达到其极限。

因此用传统的注释策略只能处理小型至中型的数据富集项目，其它更高级的功能，如自主驾驶功能的验证、数据的选择或场景库的创建，则由于巨大的人工耗费和与之相关联的成本而无法实现。

发明内容

因此本发明的任务是，提供一种用于注释驾驶场景传感器数据的经改进的方法；尤为值得期望的是一种对人为干预的需求最小/极小的自动注释方法。

该任务通过一种按照权利要求1所述的用于注释驾驶场景传感器数据的方法、一种按照权利要求11所述的能计算机读取的数据载体和一种按照权利要求12所述的计算机系统解决。有利的扩展设计方案是从属权利要求的主题。

因此提供了一种用于注释驾驶场景传感器数据的计算机实现的方法，该方法包括下列步骤：

·接收传感器原始数据，其中，传感器原始数据包括多个依次相继的激光雷达点云和/或多个依次相继的相机图像，

·在使用一个或多个神经网络的情况下识别相机数据的每个图像中和/或每个点云中的对象，其中，为所识别的对象优选地配设对象类别、对象位置、对象尺寸和/或对象范围，特别是包围该对象的边界框的坐标，

·将依次相继的图像和/或点云内的对象相关联，

·基于合理性标准去除假阳性结果，并且

·输出驾驶场景的经注释的传感器数据。

用于对象识别的神经网络可以有利地就高召回率(Recall)，即就识别尽可能高百分比的实际存在的对象加以优化，因为之后基于合理性标准对假阳性结果的去除在无需人工干预的情况下有效地将误识别减少到最低限度。

本发明基于的思考是，可以借助一系列步骤/技术有效地利用从一次拍摄的各个图像中的对象的时间关联性推导出的语义信息。在此先识别也相宜地通过一系列图像加以追踪或相互关联的对象。所使用的技术还包括去除假阳性结果(在假阳性结果中对象被错误地识别)、填补空缺、通过回归优化对象尺寸和对象位置以及平滑轨迹。一些步骤/技术，如对象尺寸和/或对象位置的回归，可以是可选的。