[发明专利]智能车辆检测系统及其检测方法

权利要求书

1.一种智能车辆检测系统，其特征在于，包括：图像数据单元，用于通过部署于智能车辆的用于机器视觉的摄像头获取被测目标的多个图像；第一神经网络单元，用于将所述多个图像分别通过第一卷积神经网络以获得多个第一特征图；毫米波数据单元，用于通过部署于所述智能车辆的毫米波雷达获取所述被测目标的检测信号；第二神经网络单元，用于将所述检测信号的波形图通过第二卷积神经网络以获得第二特征图；位置数据单元，用于以所述毫米波雷达为坐标系原点，获取每个所述摄像头的五元坐标其中，x,y,z为空间坐标，和θ分别表示俯仰角和方位角；位置编码单元，用于将每个所述摄像头的五元坐标通过包含嵌入层的基于上下文的编码器模型以获得五个特征向量，并将五个所述特征向量进行级联以获得位置特征向量；投影单元，用于对所述第一特征图进行线性投影以获得与所述位置特征向量相同长度的图像特征向量；方位增益因数单元，用于计算所述图像特征向量和每个所述摄像头的位置特征向量之间的方位增益因数，其中，所述方位增益因数基于所述第一特征图和所述第二特征图之间的距离、所述图像特征向量和所述位置特征向量之间的距离和所述摄像头和所述毫米波雷达之间的物理距离确定；加权单元，用于以每个所述方位增益因数作为加权系数对每个所述第一特征图进行加权以获得多个加权第一特征图；融合单元，用于计算所述多个加权第一特征图和所述第二特征图的加权和以获得解码特征图；以及解码单元，用于对所述解码特征图进行解码回归以获得解码值，所述解码值表示智能车辆与被测目标之间的距离。

2.根据权利要求1所述的智能车辆检测系统，其中，所述第一卷积神经网络的各层在层的正向传递过程中对输入数据进行卷积处理、池化处理和激活处理以由所述第一卷积神经网络的最后一层输出所述第一特征图，其中，所述第一卷积神经网络的第一层的输入为所述图像；以及，所述第二卷积神经网络的各层在层的正向传递过程中对输入数据进行卷积处理、池化处理和激活处理以由所述第二卷积神经网络的最后一层输出所述第二特征图，其中，所述第二卷积神经网络的第一层的输入为所述检测信号的波形图。

3.根据权利要求2所述的智能车辆检测系统，其中，所述位置编码单元进一步用于：使用所述编码器模型的嵌入层将所述五元坐标的各个坐标元素转化为坐标向量以获得坐标向量的序列；使用所述编码器模型的转换器对所述坐标向量的序列进行处理以获得五个所述特征向量；以及，将五个所述特征向量进行级联以获得所述位置特征向量。

4.根据权利要求3所述的智能车辆检测系统，其中，所述投影单元进一步用于：对所述第一特征图进行沿着宽度维度和高度维度进行线性投影以获得与通道维度相等的通道特征向量；以及，对所述通道特征向量进行线性变换以获得所述图像特征向量。

5.根据权利要求4所述的智能车辆检测系统，其中，所述方位增益因数单元，进一步用于以如下公式计算所述图像特征向量和每个所述摄像头的位置特征向量之间的方位增益因数；其中，所述公式为：

其中v_L是位置特征向量，v_i是图像特征向量，||·||代表欧式距离，d₀代表摄像头与毫米波雷达之间的物理距离，且d_f代表第一特征图与第二特征图之间的距离。

6.根据权利要求5所述的智能车辆检测系统，其中，d_f表示所述第一特征图和所述第二特征图之间的余弦距离。

7.根据权利要求6所述的智能车辆检测系统，其中，所述解码单元，进一步用于：以如下公式对所述解码特征图进行解码回归以获得所述解码值，其中，所述公式为：其中X是解码特征图，Y是解码值，W是权重张量，表示矩阵乘。