[发明专利]图像扫描线时间戳

说明书

公开了用于将时间数据添加到图像帧的扫描线的技术。在一些示例中，图像传感器可以执行滚动快门图像捕获以产生扫描线。在一些示例中，由另一传感器捕获的数据可以至少部分地基于添加到扫描线的时间数据来与扫描线的至少一部分相关联。此外，公开了用于由多个传感器同步数据捕获的技术。例如，由图像传感器执行的滚动快门图像捕获可以与由另一传感器执行的数据捕获同步。

相关联申请的交叉引用

本PCT国际申请要求于2018年9月26日提交的标题为“IMAGE SCAN LINETIMESTAMPING”的美国专利申请第16/142,865号以及于2018年9月26日提交的标题为“MULTI-SENSOR DATA CAPTURE SYNCHRONIZATION”的美国专利申请第16/142,966号的优先权，二者的全部内容通过引用并入本申请。

背景技术

各种方法、装置和系统利用来自图像传感器的图像数据。例如，机器人平台(例如，自动驾驶车辆)可以使用图像数据和/或其他传感器数据来导航通过包括障碍物(例如，其他车辆、建筑物、行人等)的环境。在一些示例中，时间信息(例如，时间戳)可能会与整个图像帧相关联，这可能会带来各种挑战，例如由于图像帧的特定部分的捕获与来自另一传感器的数据的特定部分之间的时间差异，而导致图像帧的特定部分的捕获与来自另一传感器的数据的特定部分的关联不准确。

附图说明

参照附图描述了详细描述。在附图中，附图标记的最左边的数字标识该附图标记首次出现的附图。在不同附图中使用相同的附图标记表示相似或相同的组件或特征。

图1示出了根据本公开的示例的示例环境，该示例环境包括具有一个或多个时间戳组件的车辆，时间戳组件用于将时间数据添加到图像帧(例如，滚动快门图像捕获)的扫描线。

图2是示出根据本公开的示例的时间数据的示例(例如，经由时间戳组件)被添加到图像帧的扫描线的示例的示意图。

图3是示出根据本公开的示例的用于实现示例处理流程的示例组件的框图，该示例处理流程包括将时间数据添加到扫描线以及延迟和/或移位与扫描线相关联的线数据的末端。

图4是示出根据本公开的示例的用于实现示例处理流程的示例组件的框图，该示例处理流程包括获得用于与扫描线相关联的时间数据。

图5A是示出根据本公开的示例的使图像传感器视场的滚动快门图像捕获与LIDAR传感器视场的LIDAR数据捕获同步的示例的示意图。

图5B是示出根据本公开的示例的使多个图像传感器视场的滚动快门图像捕获与LIDAR传感器视场的LIDAR数据捕获同步的示例的示意图。

图6是示出根据本公开的示例的使用扫描线时间数据来校正失真图像的图像处理组件的示例的示意框图。

图7是示出根据本公开的示例的用于将时间数据添加到图像帧的一条或多条扫描线的示例过程的流程图。

图8是示出根据本公开的示例的至少部分地基于添加到图像帧的扫描线的时间数据来确定来自多个传感器的数据之间的关联的示例过程的流程图。

图9是示出根据本公开的示例的至少部分地基于添加到图像帧的扫描线的时间数据来修改图像以校正或补偿失真效应的示例过程的流程图。

图10是示出根据示例的用于使第一视场(与第一传感器相关联)的滚动快门图像捕获与第二视场(与第二传感器相关联)的数据捕获同步的示例过程的流程图。

图11是根据本公开的示例的用于实现本文描述的技术的示例系统的框图。

具体实施方式