[发明专利]使用多个传感器和复杂度降低的神经网络进行对象检测

权利要求书

1.一种用于使用多个传感器装置检测对象的方法，包括：

由处理装置接收包括多个点的范围数据，所述多个点中的每一个与强度值和深度值相关联；

由所述处理装置基于所述多个点的强度值和深度值来确定围绕所述多个点中的点的集群的边界框；

由所述处理装置接收包括像素阵列的视频图像；

由所述处理装置确定所述视频图像中与所述边界框相对应的区域；以及

由所述处理装置将第一神经网络应用于所述区域，以确定由所述范围数据和所述视频图像捕获的对象。

2.根据权利要求1所述的方法，其中，所述多个传感器装置包括用于捕获所述范围数据的范围传感器以及用于捕获所述视频图像的摄像机。

3.根据权利要求1或2中任一项所述的方法，其中，由所述处理装置基于所述多个点的强度值和深度值来确定围绕点的集群的边界框还包括：

根据与所述多个点相关联的深度值将所述多个点分为多个层；以及

针对所述层中的每一个，

基于预定的阈值将与所述多个点相关联的强度值转换为二进制值；以及

将第二神经网络应用于所述二进制值以确定所述边界框。

4.根据权利要求3所述的方法，其中，所述第一神经网络或所述第二神经网络中的至少一个是卷积神经网络。

5.根据权利要求3所述的方法，其中，所述像素阵列中的每一个与亮度值(L)和两个颜色值(U，V)相关联。

6.根据权利要求5所述的方法，其中，由所述处理装置确定所述视频图像中与所述边界框相对应的区域还包括：

确定在指定所述范围传感器的传感器阵列的第一坐标系与指定所述摄像机的图像阵列的第二坐标系之间的映射关系；以及

基于所述边界框和所述映射关系确定所述视频图像中的区域，其中所述区域小于在全分辨率下的所述视频图像。

7.根据权利要求5所述的方法，其中，将第一神经网络应用于所述区域以确定由所述范围数据和所述视频图像捕获的对象包括：

将所述第一神经网络应用于与所述区域中的像素关联的亮度值(I)和两个颜色值(U，V)。

8.根据权利要求5所述的方法，其中，将第一神经网络应用于所述区域以确定由所述范围数据和所述视频图像捕获的对象包括：

将方向梯度直方图(HOG)滤波器应用于与所述区域中的像素相关联的亮度值；以及

将所述第一神经网络应用于与所述区域中的像素相关联的HOG滤波后的亮度值。

9.一种系统，包括：

传感器装置；

用于存储指令的存储装置；

通信地耦合到所述传感器装置和所述存储装置的处理装置，用于执行所述指令以：

接收包括多个点的范围数据，所述多个点中的每一个与强度值和深度值相关联；

基于所述多个点的强度值和深度值来确定围绕所述多个点中的点的集群的边界框；

接收包括像素阵列的视频图像；

确定所述视频图像中与所述边界框相对应的区域；以及

将第一神经网络应用于所述区域，以确定由所述范围数据和所述视频图像捕获的对象。

10.根据权利要求9所述的系统，其中，所述传感器装置包括用于捕获所述范围数据的范围传感器以及用于捕获所述视频图像的摄像机。

11.根据权利要求9或10中任一项所述的系统，其中，为了基于所述多个点的强度值和深度值来确定围绕点的集群的边界框，所述处理装置还用于：

根据与所述多个点相关联的深度值将所述多个点分为多个层；以及

针对所述层中的每一个，

基于预定的阈值将与所述多个点相关联的强度值转换为二进制值；以及

将第二神经网络应用于所述二进制值以确定所述边界框。