[发明专利]一种水面无人装备多源感知方法及系统

摘要

本发明公开了一种水面无人装备多源感知方法及系统，方法包括获取水面无人装备的环境信息；对预先采集到的水面图像进行标定，利用标定好的数据集对Deeplab模型和Faster RCNN模型进行训练并保存网络模型参数；通过Deeplab模型将实时输入的水面图像分割为背景、陆地和水面，根据水面区域的外围轮廓提取水面边界线；通过Faster RCNN网络模型提取水面障碍物的预测框，计算预测框与图像语义分割网络输出的水面区域之间的交并比，剔除无意义的障碍物检测结果；进行相机标定，获取相机内参和外参，进行三维激光雷达和相机的联合标定，结合标定结果获取雷达和相机之间的坐标转换关系；将激光雷达获得的三维点云数据根据坐标转换关系投影到相机获得的图像上，向图像添加深度信息，再通过相机坐标系‑世界坐标系的坐标转换最终得到障碍物和水面边界线的世界坐标。

主权项

1.一种水面无人装备多源感知方法，其特征在于，包括以下步骤：S1、实时采集水面无人装备多源感知系统的传感参量，获取水面图像的视觉信息和水面环境的三维点云信息；S2、对预先采集到的水面图像进行人工标定，利用标定好的数据集对Deeplab模型和Faster RCNN模型进行训练并保存网络模型参数；S3、通过Deeplab模型将实时输入的水面图像分割为背景、陆地和水面三类，根据水面区域的外围轮廓提取水面边界线；S4、通过Faster RCNN网络模型提取水面障碍物的预测框，分别计算船只和漂浮物预测框与图像语义分割网络输出的水面区域之间的交并比，剔除无意义的障碍物检测结果；S5、进行相机标定，获取相机内参和外参，然后进行三维激光雷达和相机的联合标定，结合标定结果获取雷达和相机之间的坐标转换关系；S6、将激光雷达获得的三维点云数据根据坐标转换关系投影到相机获得的图像上，向图像添加深度信息，再通过相机坐标系‑世界坐标系的坐标转换最终得到障碍物和水面边界线的世界坐标。