[发明专利]用于车辆中的摄像机校准和图像预处理的硬件设计

说明书

公开了用于摄像机校准和图像预处理的灵活硬件设计，用于包括自动驾驶(AD)车辆的车辆。例如，传感器单元包括传感器接口、主机接口和预处理硬件。传感器接口联接到多个摄像机，多个摄像机被配置成捕捉自动驾驶车辆(ADV)周围的图像。主机接口联接到感知与规划系统。预处理硬件联接到传感器接口，以接收来自多个摄像机的图像，并对图像执行一个或多个预处理功能，并经由主机接口将预处理的图像发送到感知与规划系统。感知与规划系统被配置成基于预处理的图像来感知ADV周围的驾驶环境，并规划路径以控制ADV导航通过驾驶环境。预处理功能可针对多个摄像机的不同校准和格式进行调整。

技术领域

本发明的实施方式总体涉及数据和图像处理。更具体地，本发明的实施方式涉及用于包括自动驾驶车辆的车辆的摄像机校准和图像预处理的灵活硬件设计。

背景技术

诸如自动驾驶(AD)车辆的车辆是一种能够感测其环境并在很少或没有驾驶员输入的情况下移动的车辆。AD车辆可以使用任意数量的传感器(例如，摄像机)感测其环境，以识别AD车辆周围的物体、障碍物和适当的驾驶路径。AD车辆可以具有多个摄像机，并且每个摄像机都可以用不同的像素大小和分辨率进行不同的校准，能够产生每秒30帧或更多帧的图像，这些图像被发送到AD车辆中的计算机。由于摄像机的校准和格式不同，因此AD计算机中的一个或多个处理器需要将来自摄像机的每个图像转换为适当的格式和大小，并在图像可以被处理用于AD驾驶之前对每个图像执行必要的校正。

由AD计算机中的处理器进行的这种处理消耗了大量的处理功率和计算资源，特别是当摄像机和每秒生成的图像的数量大且具有不同的数据类型、格式和大小时。也就是说，AD车辆计算机中的处理器需要具有足够的计算能力来处理每秒从摄像机接收到的图像，否则图像中的细节或者可能丢失，或者落下的图像可能对AD驾驶有害或具有破坏性，特别是在快速驾驶速度下，其中图像中的细节对驾驶AD 车辆是关键的。

发明内容

在本公开的一方面，提供了种传感器单元，包括：

传感器接口，联接至多个摄像机，所述多个摄像机配置成捕捉自动驾驶车辆(ADV)周围的图像；

主机接口，联接至感知与规划系统；以及

预处理硬件，联接至所述传感器接口，以从所述多个摄像机接收图像，对所述图像执行一个或多个预处理功能，并经由所述主机接口将预处理的图像发送到所述感知与规划系统，其中，所述感知与规划系统配置成基于所述预处理的图像来感知所述ADV周围的驾驶环境，并规划路径以控制所述ADV导航通过所述驾驶环境。

在本公开的另一方面，提供了一种用于自动驾驶的对图像进行预处理的计算机实施的方法，所述方法包括：

经由传感器接口在传感器单元处从自动驾驶车辆(ADV)周围的多个摄像机接收多个图像；

经由预处理硬件对所述图像执行一个或多个预处理功能；以及

经由主机接口将预处理的图像发送到感知与规划系统，其中，所述感知与规划系统配置成至少基于所述预处理的图像来感知所述 ADV周围的驾驶环境，并规划路径以控制所述ADV导航通过所述驾驶环境。

在本公开的又一方面，提供了一种自动驾驶系统，包括：

多个传感器，所述传感器包括一个或多个摄像机，以捕捉自动驾驶车辆(ADV)周围的图像；

感知与规划系统；以及

传感器单元，其中，所述传感器单元包括：

传感器接口，联接至所述传感器；

主机接口，联接至所述感知与规划系统；以及

预处理硬件，联接至所述传感器接口，以从所述摄像机接收图像，对所述图像执行一个或多个预处理功能，并经由所述主机接口将预处理的图像发送到所述感知与规划系统，