[发明专利]雷达数据和图像数据的融合方法及系统

说明书

本发明公开了一种雷达数据和图像数据的融合方法，包括：将雷达数据的采集线程与图像数据的采集线程进行同步处理，实现两类传感器在时间上的融合；通过对雷达与摄像机的联合标定得到雷达坐标系至摄像机像素坐标系的变换矩阵；将雷达所获取的信息经坐标变换投影至像素坐标系中，绘制感兴趣区域；对感兴趣区域内的目标采用深度学习网络对图像进行特征提取，进行识别和分类。将所获取的障碍物信息经转换矩阵投影至图像内，可以得到障碍物的融合信息，绘制出感兴趣区域，减少了图像处理的时间。

技术领域

本发明属于智能汽车环境感知信息融合技术领域，具体地涉及一种雷达数据和图像数据的融合方法及系统。

背景技术

在智能汽车领域中，环境感知技术是智能汽车发展的重要组成部分，为后续车辆的决策与控制奠定基础。毫米波雷达只能检测前方障碍物，不能区分目标是车辆、行人、骑车人或栅栏。视觉传感器可获取丰富的道路环境信息，但不能精确地获取障碍物的距离信息。单一的传感器应用已经满足不了我们的需求，多传感器融合是必要的，雷达和摄像头的融合就是典型的代表。雷达是距离传感器，通过计算发射和接收信号的时间或者相位差，得到目标和传感器之间的距离信息，但得不到目标的色彩信息，而摄像机恰好相反。雷达和摄像头的融合应用十分广泛，比如智能汽车的诞生、智能机器人的诞生等等。

多传感器融合可以通过不同的传感器获取更多信息对周围环境进行描述，从而提高整个检测点的鲁棒性。

发明内容

为了解决上述存在的技术问题，本发明提供了一种雷达数据和图像数据的融合方法及系统，可以得到障碍物的融合信息，将所获取的障碍物信息经转换矩阵投影至摄像机像素坐标系内，绘制出感兴趣区域，减少了图像处理的时间。

本发明的技术方案是：

一种雷达数据和图像数据的融合方法，包括以下步骤：

S01：将雷达数据的采集线程与图像数据的采集线程进行同步处理，实现两类传感器在时间上的融合；

S02：通过对雷达与摄像机的联合标定得到雷达坐标系至摄像机像素坐标系的变换矩阵；

S03：将雷达所获取的信息经坐标变换投影至图像中，绘制感兴趣区域；

S04：对感兴趣区域内的目标采用深度学习网络对图像进行特征提取，进行识别和分类。

优选的技术方案中，所述步骤S01中同步处理包括以下步骤：

图像数据采集线程处于阻塞状态，其等待雷达数据采集线程触发后采集当前时刻的一帧图像，将当前时刻的雷达数据和图像数据组合一起添加到缓冲区队列尾，图像数据采集线程恢复为阻塞状态。

优选的技术方案中，所述步骤S03中，将雷达探测到的障碍物目标的中心作为候选框的中心点，再按设定的候选框大小绘制感兴趣区域。

本发明还公开了一种雷达数据和图像数据的融合系统，包括，

时间融合模块，将雷达数据的采集线程与图像数据的采集线程进行同步处理，实现两类传感器在时间上的融合；

坐标转换矩阵生成模块，通过对雷达与摄像机的联合标定得到雷达坐标系至摄像机像素坐标系的变换矩阵；

感兴趣区域绘制模块，将雷达所获取的信息经坐标变换投影至图像中，绘制感兴趣区域；

识别和分类模块，对感兴趣区域内的目标采用深度学习网络对图像进行特征提取，进行识别和分类。

优选的技术方案中，所述时间融合模块的同步处理包括以下步骤：

图像数据采集线程处于阻塞状态，其等待雷达数据采集线程触发后采集当前时刻的一帧图像，将当前时刻的雷达数据和图像数据组合一起添加到缓冲区队列尾，图像数据采集线程恢复为阻塞状态。