[发明专利]基于焦点的对传感器数据的标记

说明书

本公开提供了“基于焦点的对传感器数据的标记”。捕获来自车辆的传感器的数据以及追踪驾驶员的注视的数据。还可以捕获所述车辆行进的路线。相对于所述传感器数据来评估所述驾驶员的注视以确定所述驾驶员关注的特征。针对所述特征来创建焦点记录。可以聚集很多驾驶员的焦点记录以确定对所述特征的观看频率。可以使用所述焦点记录来训练机器学习模型，以识别给定场景的感兴趣区域，以便更快速地识别相关危险。

技术领域

本发明涉及捕获驾驶员行为。

背景技术

自主车辆是大力研究和开发的领域。自主车辆的控制器通常接收各种传感器的输出，诸如相机、雷达传感器、激光雷达传感器等等。然后处理这些输出以识别道路表面、车道边界、其他车辆、行人和潜在的障碍物。这通常需要在极短量的时间内处理大量的数据以便适当地应对变化的条件。

本文中公开的系统和方法提供一种用于训练机器学习模型来控制自主车辆的改进方法。

发明内容

在本发明的一个方面，一种方法包括从车辆控制器接收传感器数据并且接收车辆内的驾驶员的捕获的注视方向。针对所述注视方向的至少一部分的每个注视方向，所述方法可以包括：识别所述传感器数据中的与所述注视方向相交的一个或多个特征；以及针对所述一个或多个特征创建焦点记录，所述焦点记录指示驾驶员对所述一个或多个特征的关注。

所述方法还可以包括，针对所述注视方向的所述至少所述部分的每个注视方向：将在捕获所述每个注视方向的时间处的驾驶员控制添加到所述一个或多个特征的所述焦点记录。在一些实施例中，所述控制描述由所述车辆在捕获所述每个注视方向的所述时间处呈现的导航数据指示的驾驶操纵。

所述方法可以包括将所述车辆在捕获所述每个注视方的向时间处的位置添加到所述一个或多个特征的所述焦点记录。

所述方法可以包括将所述驾驶员注视所述一个或多个特征的持续时间和频率添加到所述焦点记录。

所述方法可以包括相对于所述一个或多个特征而聚集多个不同驾驶员的焦点记录，以获得所述一个或多个特征的相关性度量。

所述方法可以包括根据所述焦点记录来训练机器学习模型以确定主焦点区域。可以将所述机器学习模型输入到自主车辆，所述自主车辆使用它来识别危险。

可以从具有围绕所述车辆的360度视野的传感器接收所述传感器数据。所述传感器数据可以包括光探测和测距(激光雷达)点云、相机图像和雷达传感器输出中的至少一者。

还公开了一种用于执行所述方法的系统。

附图说明

为了容易理解本发明的优点，将参考附图中示出的具体实施例呈现对上文简略地描述的本发明的更具体描述。应理解，这些附图仅描绘了本发明的典型实施例并因此不被认为是对本发明范围的限制，将通过使用附图以另外的特性和细节来描述和解释本发明，在附图中：

图1A是根据本发明的实施例的实施车辆的部件的示意框图；

图1B是根据本发明的实施例的车辆的示意框图；

图2是根据本发明的实施例的适合于实施方法的示例计算装置的示意框图；

图3是根据本发明的实施例的用于生成焦点记录的部件的示意图；以及

图4是根据本发明的实施例的用于生成焦点记录的方法的过程流程图。

具体实施方式

参考图1A和图1B，车辆100(见图1B)可以包括本领域已知的任何车辆。车辆100可以具有本领域已知的任何车辆的所有结构和特征，包括车轮、联接到车轮的传动系、联接到传动系的发动机、转向系统、制动系统和本领域已知的要包括在车辆中的其他系统。