[发明专利]基于视觉和激光雷达的水陆边界漂浮物判别装置与方法

摘要

本发明公开了一种基于视觉和激光雷达的水面漂浮物与陆地边界的检测装置，所述装置包括数据采集层、处理判别层和通信接口层；所述数据采集层：包括一个激光雷达、一个视觉系统和一个视觉处理SOC；所述处理判别层包括：MCU、人机交互模块、位姿测量模块、图像分析处理模块和深度神经网络训练模块；上述通信接口层包括Ethernet SOC、Powerlink模块以及CAN模块。本发明提供一种基于视觉和激光雷达的水面漂浮物与陆地边界的检测装置及方法，使无人船既可以准确地判别有漂浮物的水面与陆地或河岸的边界，又能够探测该时刻船底与河床距离，及时避免搁浅等危险的发生。

主权项

1.一种基于视觉和激光雷达的水面漂浮物与陆地边界的判别装置，其特征在于：所述装置包括数据采集层、处理判别层和通信接口层；所述数据采集层：包括一个激光雷达、一个视觉系统和一个视觉处理SOC；所述视觉SOC通过广播网络绝对时间和相对时间，实现视觉系统的图像数据和激光雷达扫描的点云数据的时刻同步；所述视觉系统与所述激光雷达同时对同一河岸与水面交界区域行扫描拍摄，采集河岸、水藻与垃圾点云数据与视觉图像；所述视觉SOC内置图像预处理程序，即通过加入各向异性滤波可以实现视觉系统图像实时去噪与增强；所述处理判别层包括：MCU、人机交互模块、位姿测量模块、图像分析处理模块和深度神经网络训练模块；MCU与位姿测量模块通过SPI通信总线通信，MCU与人机交互模块通过RS485进行通信，所述深度神经网络训练模块与图像分析处理模块直接通过DMA在MCU内存进行数据交换；所述人机交互模块用于提供人工遥控、显示和音频输出功能，用于初始安装时的部分设置、显示工作和工作完成时无人船的靠岸回港工作；所述位姿测量模块通过建立以激光雷达为原点、三坐标轴方向固定的动态空间坐标系，确定无人船的实时航向偏转，并采集该信息，通过该空间坐标系，可确定激光雷达采集的河岸点云坐标，利用空间几何向量，可计算出该时刻河岸的近似空间平面方程和垂直方向无人船实时位置水深，避免无人船因为水深太浅而搁浅，所述位姿测量模块的数据也用于深度神经网络训练模块训练模型；所述图像分析处理模块通过SIFT算法对数据采集层的图像进行特征点采集，采集城市河道河岸纹理图像、水藻和水上垃圾水面漂浮物作为视觉图像特征参量，并匹配同一时刻、同一区域的雷达扫描点云图，并将以上视觉图像、视觉图像特征参量和雷达扫描点云图传输至深度神经网络训练模型；所述深度神经网络训练模块，以视觉图像、视觉图像特征参量和同时刻匹配的雷达点云图像为输入，以与输入数据相同时刻的航向偏转信息为输出，进行进化训练；所述通信接口层用于装置提供数据传输的通信接口；通信接口层包括Ethernet SOC、Powerlink模块以及CAN模块。