[发明专利]基于视觉和激光雷达的水陆边界漂浮物判别装置与方法

权利要求书

1.一种基于视觉和激光雷达的水面漂浮物与陆地边界的判别装置，其特征在于：所述装置包括数据采集层、处理判别层和通信接口层；

所述数据采集层：包括一个激光雷达、一个视觉系统和一个视觉处理SOC；所述视觉处理SOC通过广播网络绝对时间和相对时间，实现视觉系统的图像数据和激光雷达扫描的点云数据的时刻同步；所述视觉系统与所述激光雷达同时对同一河岸与水面交界区域行扫描拍摄，采集河岸、水藻与垃圾点云数据与视觉图像；所述视觉处理SOC内置图像预处理程序，即通过加入各向异性滤波可以实现视觉系统图像实时去噪与增强；

所述处理判别层包括：MCU、人机交互模块、位姿测量模块、图像分析处理模块和深度神经网络训练模块；MCU与位姿测量模块通过SPI通信总线通信，MCU与人机交互模块通过RS485进行通信，所述深度神经网络训练模块与图像分析处理模块直接通过DMA在MCU内存进行数据交换；

所述人机交互模块用于提供人工遥控、显示和音频输出功能，用于初始安装时的部分设置、显示工作和工作完成时无人船的靠岸回港工作；

所述位姿测量模块通过建立以激光雷达为原点、三坐标轴方向固定的动态空间坐标系，确定无人船的实时航向偏转，并采集该信息，通过该空间坐标系，可确定激光雷达采集的河岸点云坐标，利用空间几何向量，可计算出该时刻河岸的近似空间平面方程和垂直方向无人船实时位置水深，避免无人船因为水深太浅而搁浅，所述位姿测量模块的数据也用于深度神经网络训练模块训练模型；

所述图像分析处理模块通过SIFT算法对数据采集层的图像进行特征点采集，采集城市河道河岸纹理图像、水藻和水上垃圾水面漂浮物作为视觉图像特征参量，并匹配同一时刻、同一区域的雷达扫描点云图，并将以上视觉图像、视觉图像特征参量和雷达扫描点云图传输至深度神经网络训练模型；

所述深度神经网络训练模块，以视觉图像、视觉图像特征参量和同时刻匹配的雷达点云图像为输入，以与输入数据相同时刻的航向偏转信息为输出，进行进化训练；

所述通信接口层用于装置提供数据传输的通信接口；通信接口层包括Ethernet SOC、Powerlink模块以及CAN模块。

2.一种基于视觉和激光雷达的水面漂浮物与陆地边界的判别方法，利用权利要求1所述的装置，其特征在于包括如下步骤：

（1）根据无人船结构和吃水深度，确定激光雷达照射区域应与船头保持的距离,根据无人船吃水深度和河道结构，确定船与水陆交界处的预警距离；

（2）通过人机交互模块，设置当前视觉系统和激光雷达照射方向及照射角度，激光雷达照射方向、视觉系统拍摄方向、船头方向与无人船的前进方向应共面；

（3）装置安装完毕后，将无人船置于水，进入装置校准阶段；

（4）先由人工操作无人船采集以下特殊水面视觉特征影像和雷达扫描点云数据：城市河道河岸纹理、水藻和水上垃圾及其他漂浮物；

（5）装置通过数据采集层获取视觉系统和激光雷达的数据，通过视觉处理SOC加各向异性滤波对摄像机拍摄的图像进行预处理，对图像降噪和增强，同时，通过通信接口层的通信模块与无人船螺旋桨控制器进行通信，装置接收来自螺旋桨控制器的信号，提供当前螺旋桨推进方向信息；

（6）图像分析处理模块利用数据采集层的预处理图像，建立图像序列的滑动时间窗并对比前后影像变化，实时检测影像中变化的特征参量和不变特征参量，最后根据特征参量建立漂浮物与河岸特征模型；

（7）位姿测量模块实时进行无人船航向偏转信息采集，并将航向偏转信息传输至深度神经训练模块；根据已知的河道宽度和以雷达为空间坐标系原点的任意河岸三点坐标，无人船计算出无人船实时位置的水深和离岸距离，根据已设定的预警距离，判断是否会发生搁浅；

（8）利用遗传算法，深度神经训练模块将图像分析处理模块特征结果作为神经网络模型输入，位姿测量模块的航向偏转信息为输出进行训练，并存储网络模型，当完成装置的校准工作；

（9）若装置未完成校准，重复步骤（4）至步骤（8）进行校准；如果装置已经完成校准，重复步骤（4）和步骤（7），并进入步骤（10）；

（10）利用已经存储的神经网络模型，将图像分析处理模块记过作为神经网络模型输入，位姿测量模块的信息为输出进行指导无人船的水上作业；

（11）重复步骤（9）和步骤（10）开始进行无人船的在线实时工作流程。