[发明专利]使用RGB+事件的稳健对象检测和分类

说明书

本发明涉及使用RGB+事件的稳健对象检测和分类。公开了用于促进在自主交通工具中使用静态传感器与基于事件的传感器对场景中的对象进行稳健检测和分类的技术。可以实现经训练的系统架构，并且这两种传感器的融合因此允许考虑曝光过度的场景、曝光不足的场景以及其中没有运动的场景。在这样做时，自主交通工具可以在以下条件下对对象进行检测和分类：如果每个传感器单独地操作，则由于感测环境而无法分类(或以高不确定性分类)。

技术领域

本文描述的各方面通常涉及自主交通工具(AV)，并且更具体地，涉及实现不同类型的相机传感器输入数据以对由自主交通工具使用的现有对象检测和分类系统进行改进的技术。

背景技术

AV的感知系统需要在不同的照明和环境条件下是可靠的。并且虽然雷达系统可以用于检测其他交通工具，但对其他道路使用者(诸如行人、骑自行车者、静止对象等)的检测和分类主要依赖于视觉，在夜间或在能见度降低时(诸如在驾驶穿过低光照隧道或在雨、雾、雪中驾驶时)，视觉的置信度可能会下降。利用传统相机进行对象识别还遭受低动态范围、高等待时间、以及运动模糊，这些在来自传感器的图像中经常遇到。因此，当前的AV对象检测系统具有若干缺点，并且在若干方面被证明是不足的。

附图说明

结合到本说明书并构成本说明书的一部分的附图图示本公开的各个方面，并且与说明书一起，进一步用于解释各个方面的原理，并使相关领域的技术人员能够制造和使用各个方面。

在附图中，贯穿不同的视图，相同的附图标记一般指代相同部分。这些附图不一定是按比例的，而是一般着重于说明本公开的原理。在以下描述中，参照以下附图描述本公开的各方面，其中：

图1图示出根据本公开的各个方面的示例性自主交通工具；

图2图示出根据本公开的各个方面的图1的示例性自主交通工具的安全性系统的各种示例性电子组件；

图3图示出根据本公开的各个方面的示例性卷积神经网络架构；

图4A-图4C图示出根据本公开的各个方面，从基于事件的相机传感器数据生成帧通道的图像的示例性编码技术。

图5A-图5C图示出根据本公开的各个方面的示例静态图像以及事件图像输入和对应的对象检测输出。

图6图示出根据本公开的各个方面的示例性本地处理单元。

图7图示出根据本公开的各个方面的示例性流程。

将参照附图描述本公开的示例性方面。其中要素第一次出现的附图通常由对应的附图标记中最左面的(多个)数字指示。

具体实施方式

以下详细描述中对附图进行参考，附图通过图示方式示出了可在其中实施本公开的各方面的示例性细节。在下面的描述中，阐述了众多具体细节以便提供对本公开的各个方面的完全理解。然而，对本领域技术人员将显而易见的是，可以在没有这些具体细节的情况下实践各个方面，所描述各个方面包括结构、系统和方法。本文的描述和表示是由本领域的经验/技术人员使用来向本领域其他技术人员最有效地传递其工作的实质的手段。在其他实例中，未详细地描述公知的方法、过程、组件、和电路，以避免不必要地使本公开的各个方面变得模糊。

如上文所述，当前的AV对象检测系统具有各种缺点。近年来，人们对基于事件的分类的兴趣增长，因为它有望潜在地解决AV对象检测系统中的当前问题中的一些。然而，当前使用基于事件的相机进行分类的技术，以及实现视频的重建和图像合成的技术都在静态视图中失败，因为没有事件被事件相机检测到。因此，为了解决传统AV对象检测和分类的这些缺点和其他缺点，如本文所描述的各方面实现了一种用于对象检测和分类的深度学习方法，该方法将来自基于静态的相机和基于事件的相机的输入结合到若干帧通道输入中，以提供对道路用户的增强的检测和分类。如下文进一步所讨论的，这在无法由两个传感器中的任何一个单独处理的各种条件(诸如照明和相对运动的极端条件)下提供了稳健的检测。