[发明专利]一种海量数据文件处理方法

权利要求书

1.一种海量数据文件处理方法，其特征在于，其实现过程为：

首先在客户端配置信息采集模块，该信息采集模块收集报文并校验；

将收集的报文转移到该信息采集模块的监控目录下；

然后通过实时计算和离线计算的方式，计算收集的报文；

最后将计算的报文结果进行图形化展示。

2.根据权利要求1所述的一种海量数据文件处理方法，其特征在于，所述实时计算过程为：首先配置实时计算模块，该实时计算模块用于组合条件查询；实时计算模块在检索查询数据后，查看数据的明细，实时计算今日入库数量和实时入库条数，并将实时计算结果写入关系型数据库或内存数据库，用于前端展示。

3.根据权利要求2所述的一种海量数据文件处理方法，其特征在于，当计算结果写入关系型数据库或内存数据库时，实时计算模块还可对计算结果进行综合查询：当实时计算模块进行综合统计查询时，用于将上述实时计算结果入库的程序来对报文解析，根据入库时间实时计算数据入库的数量。

4.根据权利要求1所述的一种海量数据文件处理方法，其特征在于，所述离线计算是指对历史数据进行多维度统计分析，将分析后的结果数据通过传输工具抽取到关系型数据库，以方便前端查询和展示。

5.根据权利要求1所述的一种海量数据文件处理方法，其特征在于，所述信息采集模块采用分布式日志聚合系统Flume，在客户端收集报文并校验后，Flume把收集报文处理，将消息推送给分布式发布订阅消息系统Kafka，通过Kafka分发到Elasticsearch、Hbase、Spark。

6.根据权利要求5所述的一种海量数据文件处理方法，其特征在于，所述报文转移的过程是指：将收集报文转移到分布式日志聚合系统Flume的监控目录，Flume扫描监控目录下的文件，将其存储至Elasticsearch、Hbase、Spark。

7.根据权利要求5或6所述的一种海量数据文件处理方法，其特征在于，Elasticsearch用于组合条件查询，该Elasticsearch检索数据后，基于大数据调优的Hbase rowkey设计实现查看数据的明细；通过实时计算框架Spark Streaming实时计算今日入库数量和实时入库条数，并将实时计算结果写入关系型数据库或内存数据库，用于前端展示。

8.根据权利要求7所述的一种海量数据文件处理方法，其特征在于，所述将计算的报文结果进行图形化展示是指对今日/昨日/历史入库、增量入库列表/异常/对比/组成、增量实时监控进行图形化展现。