[发明专利]用于训练事件检测器的快照图像

说明书

本公开的示例描述了一种用于利用快照图像来训练事件检测器的方法和装置。该方法包括：从安装在车辆上的至少一个传感器获取至少两个传感器数据帧，该至少两个传感器数据帧是在不同时间处按顺序收集的(702)；获取在传感器数据被获取时正在发生的事件的结果(704)；对于该至少两帧中的每一帧，利用所获取的传感器数据来创建快照图像(706)；将所获取的事件的结果与对应的快照图像相关联作为训练数据(708)；以及使用该训练数据来训练事件检测器(710)。

技术领域

本公开一般涉及自动驾驶车辆，更具体地，涉及利用快照图像来训练事件检测器。

背景技术

自动驾驶车辆(也称为无人驾驶汽车、自动驾驶汽车、机器人汽车)是一种能够感测其环境并且在无需人类输入的情况下导航的车辆。自动驾驶车辆(在下文中被称为ADV)使用各种技术来检测其周边环境，诸如使用雷达、激光、GPS、测程法以及计算机视觉。高级的控制系统对感测信息进行解读以标识合适的导航路径，以及障碍物和相关路标。

更具体地，ADV从各种车载传感器(例如相机、激光雷达、雷达等)收集传感器数据。基于该传感器数据，ADV可以构建其周围的实时道路模型。道路模型可包括各种信息，包括但不限于车道标志、交通灯、交通标志、道路边界等。将所构建的道路模型与预先安装的道路模型(诸如由高清晰度(HD)地图提供商提供的那些道路模型)进行比较，以使得ADV可以更准确地确定其在HD地图中的位置。同时，ADV还可以基于传感器数据来标识其周围的对象，诸如车辆和行人。ADV可以基于所确定的道路模型和所标识的周围对象(诸如车道改变、加速、刹车等)来做出适当的驾驶决策。

如本领域中已知的，不同的传感器产生不同形式或格式的数据。例如，相机提供图像，而激光雷达提供点云。在处理来自不同传感器的此类传感器数据时，必须单独处理每种类型的传感器数据。因此，对于每种类型的传感器，必须建立一个或多个用于对象标识的模型。另外，对于任何特定类型的传感器，在用于训练目标模型(诸如事件检测器)时，它可能具有缺点。例如，如果使用由相机直接获取的图像来训练事件检测器，则缺点可包括：(1)没有对图像中的各元素进行分类；(2)图像可以处于任意视角；以及(3)需要大量的样本图像来训练目标模型。对于其他类型的传感器可能存在类似的缺点。因此，期望一种利用传感器数据来记录交通场景的改进的解决方案。另外，如果事件检测器是基于预定义的描述进行训练的，则它可能具有以下缺点：(1)该描述应专门为一事件定义；以及(2)该描述可能容易忽略一些支持信息，例如，对于车道改变意图，相邻车道中的对象也会产生影响。此外，用于训练事件检测器的现有方式不使用机器学习技术，并且因此，该训练需要很多预定义的准则，并且仅在很多前提条件下起效。

发明内容

本公开的目的在于提供一种用于利用快照图像来训练事件检测器并且利用经训练的事件检测器来检测事件的方法和装置。本发明的方法至少可具有优于事件检测器训练的传统方式的以下优点：由于统一的数据表示而使用较少数目的训练样本；(2)样本数据可包含各种类型的信息，其也可包括历史信息；(3)计算高效；以及(4)实现不同格式的现有数据的使用。

根据本公开的第一示例性实施例，提供了一种用于利用快照图像来训练事件检测器的方法。该方法包括：从安装在车辆上的至少一个传感器获取至少两个传感器数据帧，该至少两个传感器数据帧是在不同时间处按顺序收集的；获取在传感器数据被获取时正在发生的事件的结果；对于该至少两帧中的每一帧，利用所获取的传感器数据来创建快照图像；将所获取的事件的结果与对应的快照图像相关联作为训练数据；以及使用该训练数据来训练事件检测器。

根据本公开的第二示例性实施例，描述了一种在车辆上用于检测事件的方法。该方法包括：获取由根据第一实施例的方法训练的事件检测器；从安装在车辆上的至少一种类型的传感器获取至少一个传感器数据帧；对于该至少一帧中的每一帧，利用所获取的传感器数据来创建快照图像；以及基于所创建的快照图像，利用该事件检测器来检测事件。