[发明专利]一种基于多传感器融合的水面目标训练集自动采集方法

说明书

本发明提供一种基于多传感器融合的水面目标训练集自动采集方法，首先，对水面激光雷达点云进行滤波和K‑Means聚类处理，得到稳定的水面目标点云簇；然后，通过激光雷达点云帧与单目相机视频帧的时间戳匹配，利用张正友标定法建立的2D‑3D投影关系，实现点云与图像的像素级匹配；最后，使用得到的水面深度图像信息，进行水面训练集的标注。这种方法是首次提出的利用多传感器信息融合的针对水面目标训练集自动采集任务的方法，具有实时性好和可靠性高的特点；采用条件滤波与卡尔曼滤波，使得该方法对于风浪、水面数据采集平台颠簸、水面杂波等不利情形具有较高的鲁棒性，采用时间戳匹配的方法可以有效避免传感器频率不同带来的系统误差。

技术领域

本发明属于智能无人智慧船舶领域，具体涉及一种基于多传感器融合的水面目标训练集自动采集方法。

背景技术

在智能无人智慧船舶领域中，确保无人艇准确地感知周围环境是一项十分重要的任务。由于深度学习方法在无人艇环境感知问题中的大量应用，如何提升水面目标训练集的数量和质量也成为了亟待解决的问题之一。

目前主流的水面目标训练集获取方式还是以专业科研人员人工标注为主，这就占据了科研人员大量宝贵的时间和精力，同时，由于人工操作不可避免地存在错误和疏漏，人工标注的方法还会耽误科研项目的进程。

发明内容

本发明的目的在于提供了一种基于多传感器融合的水面目标训练集自动采集方法，用于实时可靠的自动采集已知环境中的水面目标。

本发明的目的是这样实现的：

一种基于多传感器融合的水面目标训练集自动采集方法，具体的实现步骤为：

步骤1.使用张正友标定法对单目相机进行标定，根据单目相机和激光雷达固定装配位置的相对关系解算出坐标系转移矩阵，得到的坐标转移公式为S₀m＝K[R,T]M，其中S₀为尺度因子，K为摄像机内参,R为旋转矩阵，T为平移向量，m为物体在图像上的位置坐标向量，M为物体实际位置的坐标向量；

步骤2.调用光学单目相机采集到的图像，并以每秒一帧的频率进行图像存储，记录该帧图像的系统时间戳信息；

步骤3.使用条件滤波器对激光雷达采集到的3-D点云信息进行滤波，移除单目相机视场之外的数据点；

步骤4.使用K-Means聚类移除噪点并且将滤波后的数据点聚类成为点云簇；

步骤5.建立水面信息采集平台的运动学模型，以模型的预测值为先验估计，以激光雷达采集到的点云簇型心坐标位置值为后验估计，进行卡尔曼滤波；

步骤6.对获取的视频帧和平滑后的点云簇数据通过深度信息插值进行像素级融合，得到深度图像；

步骤7.对深度信息插值以后的结果进行置信度判断，当判断成功时，使用Randomizedprim算法布置多个待选标注框，当判断置信度超过警戒值，则不再存储该帧信息，当连续3帧图像置信度超过警戒值，则发出警报，提醒岸基监控人员进行检查；

步骤8.判断待选标注框内部边缘信息是否完整，选取待选标注框内部边缘特征最好的一个标注框作为最终标注框图；

步骤9.在图像帧中标注水面目标的种类、像素位置、像素高度、像素宽度信息；

步骤10.将最终的标注结果存储，并且通过通讯设备发送至岸基监控显示设备中，实现对标注结果的实时监控。

所述步骤1的坐标转移公式中摄像机内参K为

其中f_x,f_y为焦距，c_x,c_y为光心位置，γ为畸变参数。