[发明专利]一种全球船舶AIS大数据处理方法及系统

说明书

本发明提供了一种全球船舶AIS大数据处理方法及系统，先接收船舶实时AIS报文并发布到消息队列中进行缓存，然后接收消息队列中的AIS报文并进行预处理，再按照不同的报文类型分别进行存储，将报文类型为动态数据类型的AIS报文发布到消息队列中，将报文类型为静态数据类型的AIS报文保存到Redis内存数据库，再将存储在消息队列中动态数据类型的AIS报文和存储到Redis内存数据库中静态数据类型的AIS报文合并以形成完整的AIS数据记录，并将AIS数据记录发布到消息队列中，形成AIS数据流，最后对AIS数据流进行业务处理生成数据处理记录，将产生的数据处理记录保存至目标位置，本发明基于大数据流批一体的处理框架，采用分布式计算的思想，满足了业务对AIS数据的实时性要求。

技术领域

本发明涉及海量数据处理技术领域，尤其涉及一种全球船舶AIS大数据处理方法及系统。

背景技术

船舶自动识别系统(Automatic Identification System，简称AIS)是一种安装于船舶和岸站的广播式的自动识别系统，目前绝大多数船舶均已安装AIS设备。AIS数据以广播报文形式由设备定时发出，内容包含船舶的实时动态信息(例如船位、航速、航向等)和船舶的静态信息(例如船舶呼号、船名、水上移动通信业务标识码MMSI、船型、船舶尺寸以及航次等)。

AIS报文以WGS84编码，ASCII报文格式传输，在数据应用时，需要对消息进行解码转换，将各字段拆分出来进行处理和存储，部分AIS报文还需要将多条消息进行合并解码。

目前全球船舶已经超过10万搜，按照不同的发送频率和船舶范围，AIS报文的数据量非常高。基于AIS的监控、预警等应用对AIS数据的及时性有较高的要求，这就要求数据处理系统在接收到AIS报文数据后需要及时进行解码和处理。

AIS报文消息分为动态信息和静态信息两类，在数据应用时一般要求合并处理，但AIS会通过不同的报文来发送，如何及时将静态数据与最新的动态数据进行关联是一个亟需解决的重要问题。

发明内容

为解决上述问题，本发明提供了一种全球船舶AIS大数据处理方法，通过采用大数据流式实时处理技术，基于流批一体的大数据处理架构，采用分布式计算的思想，对AIS数据进行解码和处理，满足了业务对AIS数据的实时性要求。本发明还涉及一种全球船舶AIS大数据处理系统。

本发明的技术方案如下：

一种全球船舶AIS大数据处理方法，其特征在于，包括以下步骤：

数据接收步骤：从AIS系统中接收船舶实时AIS报文，并将AIS报文发布到消息队列中进行缓存；

数据分类步骤：消费消息队列中的AIS报文，对AIS报文进行预处理，并对预处理后的AIS报文按照不同的报文类型分别进行存储，将报文类型为动态数据类型的AIS报文发布到消息队列中，将报文类型为静态数据类型的AIS报文以mmsi为主键保存到Redis内存数据库；

数据合并步骤：采用大数据流式处理技术，将存储在消息队列中动态数据类型的AIS报文和相关联的以mmsi为主键存储到Redis内存数据库中静态数据类型的AIS报文合并以形成完整的AIS数据记录，并将AIS数据记录发布到消息队列中，形成AIS数据流；

数据应用步骤：基于流批一体的大数据处理架构，对AIS数据流进行业务处理以生成数据处理记录，并将产生的数据处理记录保存至目标位置。

优选地，所述数据接收步骤中，在接收船舶实时AIS报文后，将AIS报文保存到内部队列中，以多线程方式对内部队列中的AIS报文进行消费，并将消费后的数据发布到消息队列，以保证数据的处理速度。