[发明专利]用于自动驾驶仿真的基于视觉的驾驶场景生成器

说明书

描述了一种用于生成用于自动驾驶仿真器的驾驶场景的系统(和方法)。系统可使用安装至车辆的相机(其为经济合算的手段)来获取真实生活驾驶场景数据。系统可随后分析二维图像数据以创建三维驾驶仿真。分析可包括检测二维图像数据中的对象(例如，车辆、行人等)以及基于对象的位置、轨迹和速度确定对象的移动。所确定的对象的信息可随后被投影至可用于生成三维驾驶仿真的地图上。使用经济合算的相机提供了获取大量驾驶图像数据的能力，大量驾驶图像数据可广泛地覆盖到自动驾驶车辆可能遇到的潜在类型的驾驶场景。

技术领域

本公开的实施方式大体涉及自动驾驶仿真。更具体地，本公开的实施方式涉及生成用于自动驾驶仿真的驾驶场景数据。

背景技术

当开发自动驾驶系统时，通常使用驾驶仿真来测试可实施为自动驾驶车辆的一部分的多种组件(例如，决策系统)。相应地，仿真的质量直接影响到自动驾驶车辆的性能。通常使用人工输入的驾驶场景来开发仿真，这种人工输入的驾驶场景需要大量的配置工作。然而，可以理解，对仿真的人工配置是受到限制的，并且对仿真的人工配置通常未提供在真实生活情景下可能遇到的潜在驾驶场景。此外，来自自动驾驶车辆本身的复杂数据也可被分析。然而，这样的信息也难以被采集，这是因为它需要一组自动驾驶车辆来采集车辆可能遇到的潜在不受限的驾驶场景。相应地，一直存在对于改善开发用于自动驾驶仿真的驾驶场景的方法的需求。

发明内容

本公开的实施方式提供了一种用于生成用于自动驾驶仿真的驾驶场景的计算机实施方法、用于生成用于驾驶仿真的场景数据的数据处理系统、非暂时性机器可读介质。

在本公开的一方面，用于生成用于驾驶仿真的场景数据的计算机实施的方法包括：接收由车辆的相机在实况驾驶场景期间采集的图像数据；识别图像数据的一系列图像中的对象；基于一系列图像中的对象的尺寸确定所识别的对象相对于车辆的移动特性；基于从车辆的全球定位系统接收的位置信息确定所识别的对象相对于基础地图的移动特性，其中，位置信息与一系列图像中的、用于确定所识别的对象相对于车辆的移动特性的一个或多个图像相关；以及提供驾驶场景数据，驾驶场景数据至少表示在一系列图像期间所识别的对象在基础地图中的移动特性。

在本公开的另一方面，用于生成用于驾驶仿真的场景数据的数据处理系统包括：处理器；以及存储器，存储器联接至处理器以存储指令，当指令被处理器执行时致使处理器执行操作，操作包括：接收由车辆的相机在实况驾驶场景期间采集的图像数据；识别图像数据的一系列图像中的对象；基于一系列图像中的对象的尺寸确定所识别的对象相对于车辆的位置或速度；基于从车辆的全球定位系统接收的位置信息或从车辆的惯性测量单元接收的惯性信息确定所识别的对象相对于基础地图的位置或速度，其中，位置信息或惯性信息与一系列图像中的、用于确定所识别的对象相对于车辆的位置或速度的一个或多个图像相关；以及提供驾驶场景数据，驾驶场景数据至少表示在一系列图像期间所识别的对象在基础地图中的位置或速度，其中，驾驶场景数据用于将所识别的对象并入自动驾驶仿真中。

在本公开的又一方面，非暂时性机器可读介质存储有指令，当指令被处理器执行时致使处理器执行为车辆提供自动驾驶控制的操作，操作包括：接收由车辆的相机在实况驾驶场景期间采集的图像数据；识别图像数据的一系列图像中的对象；基于一系列图像中的对象的尺寸确定所识别的对象相对于车辆的移动特性；基于从车辆的全球定位系统接收的位置信息确定所识别的对象相对于基础地图的移动特性，其中，位置信息与一系列图像中的、用于确定所识别的对象相对于车辆的移动特性的一个或多个图像相关；以及提供驾驶场景数据，驾驶场景数据至少表示在一系列图像期间所识别的对象在基础地图中的移动特性。

附图说明

本公开的实施方式在附图的各图中以示例而非限制的方式示出，附图中的相似的附图标记指代相似的元件。

图1是示出了根据本公开的一个实施方式的用于图像采集车辆的系统环境的框图。

图2是示出了根据本公开的一个实施方式的传感器和控制系统的框图。