[发明专利]使用RGB+事件的稳健对象检测和分类

权利要求书

1.一种自主交通工具AV的对象检测和分类系统，所述对象检测和分类系统包括：

一个或多个处理器；以及

存储器，所述存储器被配置成用于存储指令，所述指令在由所述一个或多个处理器执行时，使得所述一个或多个处理器用于：

获得与场景相关联的第一图像集合，所述第一图像集合使用基于静态的相机传感器数据来编码；

获得与所述场景相关联的第二图像集合，所述第二图像集合包括使用基于事件的相机传感器数据表示在时间窗口内发生的事件的经编码的信息；

接收所述第一图像集合和所述第二图像集合作为分开的相应通道输入；

处理经由所述通道输入接收的(i)包括所述基于静态的相机传感器数据的所述第一图像集合的帧，以及(ii)包括在所述第二图像集合中的所述经编码的信息，以确定所述场景中包括的一个或多个对象的位置和类型；以及

将所述场景中包括的所述一个或多个对象的位置和类型提供给所述AV的控制系统，以执行一个或多个自主导航任务。

2.如权利要求1所述的对象检测和分类系统，其特征在于，所述第二图像集合中包括的所述经编码的信息表示在基于所接收的基于静态的相机传感器数据的连续帧的时间窗口内发生的事件。

3.如权利要求1所述的对象检测和分类系统，其特征在于，所述第一图像集合包括蓝绿色波长图像、品红色波长图像和黄色波长图像，并且

其中所述第二图像集合包括正事件图像和负事件图像。

4.如权利要求3所述的对象检测和分类系统，其特征在于，所述一个或多个处理器被配置成用于：

(i)使用在所述时间窗口内发生的正事件的数量将所接收的基于事件的相机传感器数据编码成所述正事件图像，以及(ii)使用在时间窗口内发生的负事件的数量将所接收的基于事件的相机传感器数据编码成所述负事件图像。

5.如权利要求3所述的对象检测和分类系统，其特征在于，所述一个或多个处理器被配置成用于通过以下操作将所接收的基于事件的相机传感器数据编码成所述正事件图像和所述负事件图像：

将基于由基于事件的相机传感器数据指示的事件相机图像的每个相应像素在时间窗口内检测到的经聚合的正事件的数量的强度梯度值分配给所述正事件图像的每个像素；以及

将基于由所述基于事件的相机传感器数据指示的事件相机图像的每个相应像素在所述时间窗口内检测到的经聚合的负事件的数量的强度梯度值分配给负事件图像的每个像素。

6.如权利要求1所述的对象检测和分类系统，其特征在于，所述场景是使得所述所接收的基于事件的相机传感器数据指示没有正事件且没有负事件的静态道路场景，并且

其中，所述一个或多个处理器被配置成用于使用经由所述通道输入接收到的所述第一图像集合和所述第二图像集合的组合来确定所述静态场景中包括的所述一个或多个对象的位置和类型。

7.如权利要求1-6中任一项所述的对象检测和分类系统，其特征在于，所述一个或多个处理器被配置成用于通过以下操作将所述所接收的基于事件的相机传感器数据编码成所述正事件图像和所述负事件图像：

应用以所述正事件图像内的每个相应像素坐标为中心的m乘m像素尺寸的核，以根据时间面编码对所述正事件图像进行编码，其中m为整数值；以及

应用以所述负事件图像内的每个相应像素坐标为中心的m乘m像素尺寸的核，以根据时间面编码对所述负事件图像进行编码，其中m为整数值。