[发明专利]一种毫米波雷达视觉前置融合装置及目标识别方法

权利要求书

1.一种毫米波雷达视觉前置融合装置，其特征在于，包括视觉数据采集模块、雷达数据采集模块、数据融合电路模块和算法模块；

所述视觉数据采集模块，用于采集自车行驶区域前方物体的视觉数据；

所述雷达数据采集模块，用于采集自车行驶区域前方物体的雷达数据；

所述数据融合电路模块，用于将采集到的视觉数据和雷达数据进行融合处理；

所述算法模块，被连接到数据融合电路模块，用于对预处理后的多维数据通过融合学习算法进行识别感知。

2.根据权利要求1所述的一种毫米波雷达视觉前置融合装置，其特征在于，所述该毫米波雷达视觉前置融合装置还包括：

供电模块，用于对数据融合电路模块和算法模块进行工作供电；

显示模块，被连接到算法模块，用于将识别感知结果以画面的形式进行展示。

3.一种毫米波雷达视觉前置融合目标识别方法，其特征在于，包括以下步骤：

S1、首先使用CenterNet检测法获得视觉数据预测目标的中心点，并回归得到目标的3D坐标、深度、旋转信息；

S2、将雷达数据采集模块检测到的目标数据和上面检测到的目标中心点进行关联；

S3、将关联后的目标的特征和雷达数据检测到的深度和速度信息组成的特征图并联，再进行3D目标深度、旋转、速度和属性的回归。

4.根据权利要求3所述的一种毫米波雷达视觉前置融合目标识别方法，其特征在于,所述S1中使用CenterNet检测法获得视觉数据预测目标的中心点，并回归得到目标的3D坐标、深度、旋转信息具体为采用的对象检测网络，检测图像平面上的对象中心点，并回归到三维定位、方向、维度等其他对象属性，包括：

将雷达探测与相应物体的中心点联系起来，并利用雷达和图像特征，通过重新估计其深度、速度、旋转和属性来改进初步检测；

中心点对象检测网络会为图像中的每个对象类别生成一个热图，热图中的峰值表示对象可能的中心点，并且这些位置的图像特征用于估计其他对象属性。

5.根据权利要求3所述的一种毫米波雷达视觉前置融合目标识别方法，其特征在于，所述S2中将雷达数据采集模块检测到的目标数据和上面检测到的目标中心点进行关联包括：

在三维空间视锥法找到对应目标的示意图，并将雷达点扩展到三维柱。

6.根据权利要求3所述的一种毫米波雷达视觉前置融合目标识别方法，其特征在于，所述S3中将关联后的目标的特征和雷达数据检测到的深度和速度信息组成的特征图并联，再进行3D目标深度、旋转、速度和属性的回归，包括：

生成的特征图作为额外的通道连接到图像特征，这些特征被用作二次回归头的输入，以重新计算对象的深度、旋转、速度和属性；

其中，速度回归头估计物体在车辆坐标系中的实际速度的x和y分量；

属性回归头估计不同对象类的不同属性，例如为Car类移动或停放，为行人类站立或坐；

二次回归头由三个卷积层和3个×3个核组成，然后是1×1个卷积层，以产生所需的输出，与主要回归头相比，额外的卷积层有助于从雷达特征映射中学习更高层次的特征；

将回归头结果解码为3D边界框，随后框解码器块使用从二次回归头中估计的深度、速度、旋转和属性，并从主回归头中获取其他对象属性。