[发明专利]一种基于增强现实的船舶航行态势感知方法

说明书

本发明公开了一种基于增强现实的船舶航行态势感知方法，包括以下步骤：位于船艏的网络摄像头将实时拍摄本船航行路线前方的视频图像传输至计算机；组播/广播将雷达融合识别信息和海图标记信息传输至计算机；计算机对接收到的视频图像进行解析，利用机器学习技术从解析后的视频图像中提取出目标船只的虚拟三维坐标，将目标船只的虚拟三维坐标与雷达融合识别信息中的实际三维坐标进行比对，得到目标船只的虚实坐标转换的映射关系；根据所述目标船只的虚实坐标转换的映射关系将所述目标船只的三维虚拟模型映射叠加在视频图像中，同时海图标记信息也叠加在视频图像中。本发明基于混合三维注册技术实现导航数据和真实场景的叠加，实现多种信息同时、直观的展现。

技术领域

本发明涉及船舶导航增强现实技术领域，尤其涉及一种基于增强现实的船舶航行态势感知方法。

背景技术

增强现实(Augmented Reality，简称AR)是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，从而将真实世界信息和虚拟世界信息“无缝”集成。这种技术的目标是在显示屏幕上将虚拟世界和现实世界进行融合互动，有三个突出特点：(1)真实世界和虚拟世界的信息集成；(2)具有实时交互性；(3)可在三维尺度空间中增添定位虚拟物体。目前，增强现实技术已广泛应用在医疗研究与解剖训练、精密仪器制造和维修、军用飞机导航、工程设计和远程机器人控制等领域。

在船舶导航领域，现实增强导航系统能够在平板电脑或屏幕上显示某只船舶的计划航线上的其它船舶信息以及周围海域和其他海况的信息(例如浅水区)等。将来自船舶自动识别系统(AIS)信息、雷达信息以及驾驶台摄像机的实时视频图像相融合。作为航运大国，目前，国内针对船舶导航现实增强的研发尚数空白，本发明自主研发具有完全知识产权的船舶增强现实导航系统。

发明内容

有鉴于此，本发明提供了一种基于增强现实的船舶航行态势感知方法，用以解决上述背景技术中存在的问题。

一种基于增强现实的船舶航行态势感知方法，包括以下步骤：

S1,网络摄像头实时拍摄本船航行路线前方的视频图像并将视频图像通过网络传输至计算机；

S2，组播/广播获取雷达融合识别信息和海图标记信息并通过网络传输至计算机；

S3，计算机的视频处理模块对接收到的视频图像进行解析，利用机器学习技术从解析后的视频图像中提取出目标船只的虚拟三维坐标，将目标船只的虚拟三维坐标与雷达融合识别信息中的实际三维坐标进行比对，得到目标船只的虚实坐标转换的映射关系；

S4，根据所述目标船只的虚实坐标转换的映射关系将所述目标船只映射叠加在视频图像中，同时海图标记信息也叠加在视频图像中。

优选地，所述步骤S3中利用机器学习技术从解析后的视频图像中提取出目标船只的虚拟三维坐标的具体步骤为：

首先，利用已训练好的卷积神经网络对视频图像进行高维特征提取，得到多个不同尺度的特征图；

然后，使用多尺度分支网络对相应尺度下的特征图进行特征聚合处理并将处理后的图像特征传递到检测分类器；

检测分类器对接收到的图像特征进行预测，判断出边界框位置和边界框内的船舰类别，获取到目标船只的虚拟三维坐标。

优选地，所述雷达融合识别信息包括目标船只距离本船的距离、目标船只对地航速、目标船只与本船的最小相遇距离、目标船只到达预计相遇最近点的时间、目标船只经过本船船头的距离、目标船只经过本船船头的时间、目标船只的经纬度、目标船只的AIS信息。

优选地，所述目标船只的AIS信息包括目标船只的船型、MMSI、呼号与船名、长度与宽度。