[发明专利]一种水面无人装备多源感知方法及系统

权利要求书

1.一种水面无人装备多源感知方法，其特征在于，包括以下步骤：

S1、实时采集水面无人装备多源感知系统的传感参量，获取水面图像的视觉信息和水面环境的三维点云信息；

S2、对预先采集到的水面图像进行人工标定，利用标定好的数据集对Deeplab模型和Faster RCNN模型进行训练并保存网络模型参数；

S3、通过Deeplab模型将实时输入的水面图像分割为背景、陆地和水面三类，根据水面区域的外围轮廓提取水面边界线；

S4、通过Faster RCNN网络模型提取水面障碍物的预测框，分别计算船只和漂浮物预测框与图像语义分割网络输出的水面区域之间的交并比，剔除无意义的障碍物检测结果；

S5、进行相机标定，获取相机内参和外参，然后进行三维激光雷达和相机的联合标定，结合标定结果获取雷达和相机之间的坐标转换关系；

S6、将激光雷达获得的三维点云数据根据坐标转换关系投影到相机获得的图像上，向图像添加深度信息，再通过相机坐标系-世界坐标系的坐标转换最终得到障碍物和水面边界线的世界坐标；

所述步骤S3中Deeplab网络模型基于VGG16进行构建，首先去掉VGG16最后两个池化层的下采样，然后将这两个池化层后面的卷积核改为空洞卷积，最后将VGG16的三个全连接层替换为卷积层，实现Deeplab模型的全卷积结构；为了获得与原图相同尺寸的输出，采用反卷积的方法对池化和卷积处理后得到的特征图进行反卷积，从而获得一个与输入图像尺寸大小相同的分割图像，最后使用全连接随机条件场对水陆分割图像进行细节优化，从而获得一个水面边界线边缘精细的分割图像；

所述步骤S4中Faster RCNN网络模型基于AlexNet卷积神经网络进行构建，具体由FastRCNN网络和RPN网络构成，其中Fast RCNN网络和RPN网络的共享卷积层由AlexNet的前五层卷积神经网络构成，AlexNet的第三个池化层修改为ROI池化层，保留AlexNet的两层全连接层，将最后一层Softmax分类器修改为用于框选水面障碍物的线性回归器和用于船只和漂浮物分类的线性回归器+Softmax分类器层；而在RPN网络中，添加一层卷积核为3*3的卷积层来提取滑动窗口，其后接全连接层提取特征向量，最后是对输入特征向量进行区域评价的Softmax分类器层和边框回归层。

2.根据权利要求1所述的水面无人装备多源感知方法，其特征在于，所述步骤S2中的标定具体为：将水面图像从上到下像素级标定为背景、陆地和水面三类，用于Deeplab网络模型训练；将水面图像中的障碍物候选框标定为船只和漂浮物两类，用于Faster RCNN网络模型训练。

3.根据权利要求1所述的水面无人装备多源感知方法，其特征在于，所述步骤S4中对无意义检测结果的剔除过程具体为：以障碍物预测框与水面区域的交集占整个矩形框的比值作为指标来评判检测结果的合理性；对于分类为漂浮物的预测框，设定阈值为0.8，低于此阈值的结果将给予剔除；对于分类为船只的预测框，设定阈值为0.1，低于此阈值的结果将给予剔除。

4.根据权利要求1所述的水面无人装备多源感知方法，其特征在于，所述步骤S6具体为：根据激光雷达坐标系和相机坐标系的转换方程，将激光雷达获得的点云坐标转换为相机坐标，再通过相机坐标系与像素坐标系之间的转换关系，将点云投影到成像平面，使得图像具有深度信息；最后将Faster RCNN输出的预测框和Deeplab模型输出的水面边界线的像素坐标信息和深度信息结合起来生成三维坐标，根据相机标定得到的相机外参转换为对应的世界坐标，从而确定障碍物和水面分界线在世界坐标系中的具体位置。

5.根据权利要求1-4任一项所述的一种水面无人装备多源感知方法使用的水面无人装备多源感知系统，其特征在于，所述感知系统以ROS处理模块为核心，涵盖了水面无人装备信息传递、信息融合和信息输出功能的一个集成模块,所述ROS处理模块包括感知部分和应用部分。