[发明专利]基于双目视觉和雷达的海上障碍物识别方法及系统

权利要求书

1.一种基于双目视觉和雷达的海上障碍物识别方法，其特征在于，包括以下步骤：

获取双目视觉图像和雷达数据，并进行时间融合；

根据训练好的深度学习网络模型和时间融合后的双目视觉图像，得到目标物体分类标签，对目标物体进行三维重建后得到目标物体的位置和速度信息；

根据时间融合后的雷达数据，得到目标物体的位置和速度信息；

对双目视觉和雷达得到目标物体的位置和速度信息分别进行空间融合，对空间融合后的数据进行匹配，得到目标物体最优匹配对；

根据最优匹配对将雷达检测的目标物体打上分类标签，以雷达检测得到的目标坐标信息和目标物体分类标签作为目标物体识别结果。

2.如权利要求1所述的基于双目视觉和雷达的海上障碍物识别方法，其特征在于，所述空间融合具体为：将处于双目视觉坐标系下的目标物体信息和处于雷达坐标系下的目标物体信息均转换为船体坐标系下的目标物体信息。

3.如权利要求1所述的基于双目视觉和雷达的海上障碍物识别方法，其特征在于，所述时间融合，具体为：每处理完毕一帧双目视觉图像，同时选取雷达上一帧缓存的数据。

4.如权利要求1所述的基于双目视觉和雷达的海上障碍物识别方法，其特征在于，根据训练好的深度学习网络模型和时间融合后的双目视觉图像，得到目标物体分类标签，对目标物体进行三维重建后得到目标物体的双目视觉坐标系下的目标物体信息，具体为：

对双目视觉图像进行预处理、畸变矫正和平行校正；

采用深度学习网络模型对左右图像中的目标物体进行检测和种类识别，并框选出兴趣区域；

对兴趣区域内的图像进行边缘检测得到边缘特征图，采用匹配函数对像素块进行评价，最终得到最优匹配像素块并计算视差值；

根据双目摄像头标定的参数和视差值，得到目标物体的三维坐标点云；

将目标物体的身份识别码、种类、位置和速度信息，进行卡尔曼滤波之后得到目标物体坐标信息和类别信息。

5.如权利要求4所述的基于双目视觉和雷达的海上障碍物识别方法，其特征在于，所述深度学习网络模型具体为YOLOV4卷积神经网络，所述匹配函数具体为采用SAD特征点评价算子，使用拉普拉斯算子对兴趣区域内的图像进行边缘检测得到边缘特征图。

6.如权利要求1所述的基于双目视觉和雷达的海上障碍物识别方法，其特征在于，根据时间融合后的雷达数据，得到雷达坐标系下的目标物体信息，具体为：

对得到的雷达数据进行TCP/UDP包解析；

对包解析后的数据经过预处理剔除掉无效目标，获得目标在极坐标系下的距离、方向角和距离的变化率；

将得到的目标物体的特征信息转换到船体坐标系下；

将坐标转换后的目标物体的身份识别码、位置和速度信息进行卡尔曼滤波之后得到感知环境中目标物体信息；

或者，目标物体最优匹配对，具体为：采用双向匹配，对于每一个双目视觉检测到的目标，选取匹配程度最高的雷达检测目标作为候选目标，同时对于每一个雷达检测的目标，选取匹配程度最高的双目视觉检测目标作为候选目标，当一对目标点互为最优匹配且小于或等于匹配阈值，判定为最优匹配对；

或者，目标最优匹配对，具体为：将采用双目视觉和雷达传感器得到的对目标位置和速度的测量结果建立匹配特征向量，采用构建好的融合匹配评价函数，以融合匹配评价函数取值最优的目标对为最优匹配对。