[发明专利]一种基于多传感器融合的水面目标训练集自动采集方法

摘要

本发明提供一种基于多传感器融合的水面目标训练集自动采集方法，首先，对水面激光雷达点云进行滤波和K‑Means聚类处理，得到稳定的水面目标点云簇；然后，通过激光雷达点云帧与单目相机视频帧的时间戳匹配，利用张正友标定法建立的2D‑3D投影关系，实现点云与图像的像素级匹配；最后，使用得到的水面深度图像信息，进行水面训练集的标注。这种方法是首次提出的利用多传感器信息融合的针对水面目标训练集自动采集任务的方法，具有实时性好和可靠性高的特点；采用条件滤波与卡尔曼滤波，使得该方法对于风浪、水面数据采集平台颠簸、水面杂波等不利情形具有较高的鲁棒性，采用时间戳匹配的方法可以有效避免传感器频率不同带来的系统误差。

主权项

1.一种基于多传感器融合的水面目标训练集自动采集方法，其特征在于，具体的实现步骤为：步骤1.使用张正友标定法对单目相机进行标定，根据单目相机和激光雷达固定装配位置的相对关系解算出坐标系转移矩阵，得到的坐标转移公式为S₀m＝K[R,T]M，其中S₀为尺度因子，K为摄像机内参,R为旋转矩阵，T为平移向量，m为物体在图像上的位置坐标向量，M为物体实际位置的坐标向量；步骤2.调用光学单目相机采集到的图像，并以每秒一帧的频率进行图像存储，记录该帧图像的系统时间戳信息；步骤3.使用条件滤波器对激光雷达采集到的3‑D点云信息进行滤波，移除单目相机视场之外的数据点；步骤4.使用K‑Means聚类移除噪点并且将滤波后的数据点聚类成为点云簇；步骤5.建立水面信息采集平台的运动学模型，以模型的预测值为先验估计，以激光雷达采集到的点云簇型心坐标位置值为后验估计，进行卡尔曼滤波；步骤6.对获取的视频帧和平滑后的点云簇数据通过深度信息插值进行像素级融合，得到深度图像；步骤7.对深度信息插值以后的结果进行置信度判断，当判断成功时，使用Randomized prim算法布置多个待选标注框，当判断置信度超过警戒值，则不再存储该帧信息，当连续3帧图像置信度超过警戒值，则发出警报，提醒岸基监控人员进行检查；步骤8.判断待选标注框内部边缘信息是否完整，选取待选标注框内部边缘特征最好的一个标注框作为最终标注框图；步骤9.在图像帧中标注水面目标的种类、像素位置、像素高度、像素宽度信息；步骤10.将最终的标注结果存储，并且通过通讯设备发送至岸基监控显示设备中，实现对标注结果的实时监控。