[发明专利]一种毫米波雷达视觉前置融合装置及目标识别方法

说明书

本发明公开了一种毫米波雷达视觉前置融合装置及目标识别方法，属于汽车自动化控制技术领域，其中，毫米波雷达视觉前置融合装置，包括视觉数据采集模块、雷达数据采集模块、数据融合电路模块和算法模块；所述视觉数据采集模块，用于采集自车行驶区域前方物体的视觉数据；所述雷达数据采集模块，用于采集自车行驶区域前方物体的雷达数据；所述数据融合电路模块，用于将采集到的视觉数据和雷达数据进行融合处理；本发明，能够将视觉数据采集模块采集的图像数据和雷达数据采集模块采集的雷达数据进行中间特征层的融合处理，最终达到自车前方区域3D目标的精确检测，为自车的行驶过程中的安全避障提供了保障。

技术领域

本发明属于汽车自动化控制技术领域，具体涉及一种毫米波雷达视觉前置融合装置及目标识别方法。

背景技术

激光雷达使用发射的激光测距进行环境感知，而雷达使用无线电发射进行探测。3D目标检测在自动驾驶领域应用广泛，而激光雷达(Lidar)和摄像头数据的融合常用来进行高精度的3D目标检测，但其仍有一些缺点。比如对远处目标检测不精确、对天气敏感(雨雪大雾天气等)，而且不能直接得到目标的速度。而低成本的雷达则相对具有天然优势：无惧恶劣天气，长远距离检测能力强，且天然还有目标速度信息。但雷达数据更加稀疏，不能直接将激光雷达的方法直接套用，数据在输入层和后处理部分的融合不能取得很好的效果。将摄像头采集的图像数据和雷达数据进行中间特征层的融合，以达到精确的3D目标检测。

发明内容

本发明的目的在于提供一种毫米波雷达视觉前置融合装置及目标识别方法，以解决上述背景技术中提出的问题。

根据发明的第一方面，本发明提出了一种毫米波雷达视觉前置融合装置，包括视觉数据采集模块、雷达数据采集模块、数据融合电路模块和算法模块；

所述视觉数据采集模块，用于采集自车行驶区域前方物体的视觉数据；

所述雷达数据采集模块，用于采集自车行驶区域前方物体的雷达数据；

所述数据融合电路模块，用于将采集到的视觉数据和雷达数据进行融合处理；

所述算法模块，被连接到数据融合电路模块，用于对预处理后的多维数据通过融合学习算法进行识别感知。

进一步地，所述该毫米波雷达视觉前置融合装置还包括：

供电模块，用于对数据融合电路模块和算法模块进行工作供电；

显示模块，被连接到算法模块，用于将识别感知结果以画面的形式进行展示。

根据发明的第二方面，本发明提出了一种毫米波雷达视觉前置融合目标识别方法，包括以下步骤：

S1、首先使用CenterNet检测法获得视觉数据预测目标的中心点，并回归得到目标的3D坐标、深度、旋转信息；

S2、将雷达数据采集模块检测到的目标数据和上面检测到的目标中心点进行关联；

S3、将关联后的目标的特征和雷达数据检测到的深度和速度信息组成的特征图并联，再进行3D目标深度、旋转、速度和属性的回归。

进一步地，所述S1中使用CenterNet检测法获得视觉数据预测目标的中心点，并回归得到目标的3D坐标、深度、旋转信息具体为采用的对象检测网络，检测图像平面上的对象中心点，并回归到三维定位、方向、维度等其他对象属性，包括：

将雷达探测与相应物体的中心点联系起来，并利用雷达和图像特征，通过重新估计其深度、速度、旋转和属性来改进初步检测；

中心点对象检测网络会为图像中的每个对象类别生成一个热图，热图中的峰值表示对象可能的中心点，并且这些位置的图像特征用于估计其他对象属性。

进一步地，所述S2中将雷达数据采集模块检测到的目标数据和上面检测到的目标中心点进行关联包括：