[发明专利]一种全球船舶AIS大数据处理方法及系统

权利要求书

1.一种全球船舶AIS大数据处理方法，其特征在于，包括以下步骤：

数据接收步骤：从AIS系统中接收船舶实时AIS报文，并将AIS报文发布到消息队列中进行缓存；

数据分类步骤：消费消息队列中的AIS报文，对AIS报文进行预处理，并对预处理后的AIS报文按照不同的报文类型分别进行存储，将报文类型为动态数据类型的AIS报文发布到消息队列中，将报文类型为静态数据类型的AIS报文以mmsi为主键保存到Redis内存数据库；

数据合并步骤：采用大数据流式处理技术，将存储在消息队列中动态数据类型的AIS报文和相关联的以mmsi为主键存储到Redis内存数据库中静态数据类型的AIS报文合并以形成完整的AIS数据记录，并将AIS数据记录发布到消息队列中，形成AIS数据流；

数据应用步骤：基于流批一体的大数据处理架构，对AIS数据流进行业务处理以生成数据处理记录，并将产生的数据处理记录保存至目标位置。

2.根据权利要求1所述的全球船舶AIS大数据处理方法，其特征在于，所述数据接收步骤中，在接收船舶实时AIS报文后，将AIS报文保存到内部队列中，以多线程方式对内部队列中的AIS报文进行消费，并将消费后的数据发布到消息队列，以保证数据的处理速度。

3.根据权利要求1所述的全球船舶AIS大数据处理方法，其特征在于，所述数据分类步骤中的预处理包括AIS报文合并处理、解码处理和降采样处理，所述AIS报文合并处理为将构成同一条AIS数据的多条AIS报文进行合并，所述解码处理将合并后的AIS报文进行解码以获取各字段的数据，所述降采样处理用于降低解码后的AIS报文的消息密度。

4.根据权利要求3所述的全球船舶AIS大数据处理方法，其特征在于，所述数据分类步骤中，所述预处理在降采样处理前还包括检查AIS报文的数据格式，排除非法数据格式，保留合格的数据格式，并采用会话窗口对合格的数据格式进行降采样。

5.根据权利要求1所述的全球船舶AIS大数据处理方法，其特征在于，所述数据应用步骤中，所述业务处理包括数据质量检测、船舶状态转换判断和区域穿越判断，所述目标位置包括Redis内存数据库、消息队列和关系数据库等。

6.一种全球船舶AIS大数据处理系统，其特征在于，包括依次连接的数据接收模块、数据分类模块、数据合并模块和数据应用模块，

所述数据接收模块：从AIS系统中接收船舶实时AIS报文，并将AIS报文发布到消息队列中进行缓存；

所述数据分类模块：消费消息队列中的AIS报文，对AIS报文进行预处理，并对预处理后的AIS报文按照不同的报文类型分别进行存储，将报文类型为动态数据类型的AIS报文发布到消息队列中，将报文类型为静态数据类型的AIS报文以mmsi为主键保存到Redis内存数据库；

所述数据合并模块：采用大数据流式处理技术，将存储在消息队列中动态数据类型的AIS报文和相关联的以mmsi为主键存储到Redis内存数据库中静态数据类型的AIS报文合并以形成完整的AIS数据记录，并将AIS数据记录发布到消息队列中，形成AIS数据流；

所述数据应用模块：基于流批一体的大数据处理架构，对AIS数据流进行业务处理以生成数据处理记录，并将产生的数据处理记录保存至目标位置。

7.根据权利要求6所述的全球船舶AIS大数据处理系统，其特征在于，所述数据接收模块中，在接收船舶实时AIS报文后，将AIS报文保存到内部队列中，以多线程方式对内部队列中的AIS报文进行消费，并将消费后的数据发布到消息队列，以保证数据的处理速度。

8.根据权利要求6所述的全球船舶AIS大数据处理系统，其特征在于，所述预处理包括AIS报文合并处理、解码处理和降采样处理。

9.根据权利要求8所述的全球船舶AIS大数据处理系统，其特征在于，所述预处理在降采样处理前还包括检查AIS报文的数据格式，排除非法数据格式，保留合格的数据格式，并采用会话窗口对合格的数据格式进行降采样。

10.根据权利要求6所述的全球船舶AIS大数据处理系统，其特征在于，所述业务处理包括数据质量检测、船舶状态转换判断和区域穿越判断，所述目标位置包括Redis内存数据库、消息队列和关系数据库等。