[发明专利]一种基于AIS大数据的海运统计系统及其统计方法

权利要求书

1.一种基于AIS大数据的海运统计系统，其特征在于：该统计系统包括数据源模块，数据接入处理模块，数据存储管理模块，数据计算分析模块及数据展示应用模块，其中数据源模块向数据接入处理模块提供实时AIS数据和历史AIS数据，且数据源模块向数据存储管理模块提供基础支撑数据；所述数据接入处理模块对实时AIS数据和历史AIS数据进行清洗筛选后存入数据存储管理模块中；所述数据计算分析模块调取数据管理模块的实时AIS数据，并且将计算处理后的信息反馈给数据存储管理模块储存；所述数据展示应用模块由数据分析模块提供分析服务并由数据存储管理模块的基础支撑数据提供数据支撑；

所述基于AIS大数据的海运统计系统的统计方法，包括以下步骤：步骤1，构建大数据平台；步骤2，AIS数据接入；步骤3，AIS数据清洗；步骤4，数据仓库构建；步骤5，大数据挖掘分析模型构建；步骤6，航行事件分析；步骤7，航次挖掘；步骤8，统计指标生成；

所述步骤1中的大数据平台包括基础设施层、数据资源层、数据分析层和服务封装层四个部分，其中基础设施层管理数据源模块的基础支撑数据；数据资源层管理数据源模块的实时AIS数据和历史AIS数据，以及数据存储管理模块；数据分析层管理数据计算分析模块；服务封装层管理数据展示应用模块；

所述步骤1中包括以下子步骤：

步骤1.1，构建数据源模块，该数据源模块包括实时AIS数据、历史AIS数据，以及船舶档案、港口、泊位、海上通道、电子海图的基础支撑数据；

步骤1.2，构建数据接入处理模块，该数据接入处理模块包括Flink流数据处理引擎及Flume日志采集器；对于实时AIS数据，首先搭建流数据处理框架，通过TCP协议接入外部实时AIS数据源，并统一交由Kafka消息中间件进行存储并分发给Flink流数据处理引擎进行多机多线程处理；Flink流数据处理引擎首先需要完成AIS数据的清洗工作，去除整合位置，吃水，目的地的无效数据与重复数据，并与上一条AIS数据对比补全航行相关数据，同时，Flink流数据处理引擎还将处理后的AIS数据存储到AIS日志文件中，并由Flume日志采集器定时获取AIS日志文件并合并到AIS月日志文件中；对于历史AIS数据，采用ETL工具Kettle执行批量任务抽取报文文件，并进行清洗，去重，去无效的批量操作，形成统一格式的待处理文件，同样将处理结果存储到AIS日志文件中；

步骤1.3，构建数据存储管理模块，该数据存储管理模块包括Redis及H2GIS内存数据库、Hive，HBase及MySQL，其中对于Flink流数据处理引擎处理后的实时AIS数据，一方面以“MMSI+日期”为Key存储到Redis内存数据库中，供Spark离线任务进行航行事件生成和进出海上通道判断的实时性分析工作；另一方面，在H2GIS内存数据库中记录船舶最近一次的位置，满足后期实时显示船舶当前位置的需求，对清洗后形成AIS日志文件，通过Flume自动导入到Hive数据仓库中，方便后期问题回溯，并为数据计算分析提供支撑；基于HBase存储通过数据计算分析形成的航迹线，航行事件，航次信息和数据集市；船舶档案，港口，泊位的基础支撑数据，需在进行数据挖掘分析时需频繁调用，由基于关系型数据库MySQL进行存储；

步骤1.4，构建数据计算模块，该数据计算模块包括Spark事件分析方法、Geomesa时空大数据处理引擎及Kylin，其中首先利用Spark事件分析任务批量从Redis内存数据库及Hive中提取AIS航迹点数据，结合MySQL中的船舶档案，港口，泊位的基础支撑数据，进行分析形成航行事件数据并存储到HBase中，然后通过Spark航次分析任务从HBase中获取待分析的航行事件并分析形成航次数据并存储在数据存储管理模块的HBase中；数据集市是最终呈现的统计指标表与维度表，包括港口统计，通道统计，货品统计方面，其多维数据统计查询通过分析型数据仓库Kylin提供的接口实现，Hive和HBase服务于Kylin，为Kylin提供数据，并用HBase存放Kylin生成的Cube；利用Geomesa时空大数据处理引擎，通过读取存储于HBase和Hive中的AIS数据，建立时空索引并基于Spark进行计算分析，进而实现单船轨迹回放，多船航迹热力图，航迹线拟合的空间大数据分析，并具备OGC标准服务接口数据访问能力，满足后期数据展示应用的需求；

步骤1.5，构建数据展示应用模块，该数据展示应用模块包括统计图表，统计报表和地图可视化展示，其基于UReport2报表引擎和ECharts可视化库，读取存储在HBase中的航次数据和统计指标数据，实现报表化服务和图表可视化服务；以H2GIS中的实时AIS点位数据及HBase中的航迹线数据为基础，结合Geomesa时空大数据处理引擎的空间分析服务，利用Geoserver地图服务器发布形成标准地图服务，基于OpenLayers地图库，实现海量船舶AIS航迹点及航迹线的地图可视分析服务。