[发明专利]一种海量数据文件处理方法

说明书

技术领域

本发明涉及计算机技术领域，具体地说是一种海量数据文件处理方法。

背景技术

在全国不动产数据的采集汇总过程中，数据以成百上千TB不断增长，而且信息的存储方式也多种多样，传统的数据库部署不能处理数TB数据，也不能很好的支持高级别的数据分析。针对信息的数据量较大、传输的稳定、存储和计算的效率以及数据展示的速度的问题，现有技术方案存在的问题和缺点：数据处理速度慢，稳定性差、数据的查询速度慢。基于此，现提供一种海量数据文件处理方法，对上述问题进行了解决和改进。

发明内容

本发明的技术任务是针对以上不足之处，提供一种海量数据文件处理方法。

一种海量数据文件处理方法，其实现过程为：

首先在客户端配置信息采集模块，该信息采集模块收集报文并校验；

将收集的报文转移到该信息采集模块的监控目录下；

然后通过实时计算和离线计算的方式，计算收集的报文；

最后将计算的报文结果进行图形化展示。

所述实时计算过程为：首先配置实时计算模块，该实时计算模块用于组合条件查询；实时计算模块在检索查询数据后，查看数据的明细，实时计算今日入库数量和实时入库条数，并将实时计算结果写入关系型数据库或内存数据库，用于前端展示。

当计算结果写入关系型数据库或内存数据库时，实时计算模块还可对计算结果进行综合查询：当实时计算模块进行综合统计查询时，用于将上述实时计算结果入库的程序来对报文解析，根据入库时间实时计算数据入库的数量。

所述离线计算是指对历史数据进行多维度统计分析，将分析后的结果数据通过传输工具抽取到关系型数据库，以方便前端查询和展示。

所述信息采集模块采用分布式日志聚合系统Flume，在客户端收集报文并校验后，Flume把收集报文处理，将消息推送给分布式发布订阅消息系统Kafka，通过Kafka分发到Elasticsearch、Hbase、Spark。

所述报文转移的过程是指：将收集报文转移到分布式日志聚合系统Flume的监控目录，Flume扫描监控目录下的文件，将其存储至Elasticsearch、Hbase、Spark。

Elasticsearch用于组合条件查询，该Elasticsearch检索数据后，基于大数据调优的Hbase rowkey设计实现查看数据的明细；通过实时计算框架Spark Streaming实时计算今日入库数量和实时入库条数，并将实时计算结果写入关系型数据库或内存数据库，用于前端展示。

所述将计算的报文结果进行图形化展示是指对今日/昨日/历史入库、增量入库列表/异常/对比/组成、增量实时监控进行图形化展现。

本发明的一种海量数据文件处理方法和现有技术相比，具有以下有益效果：

本发明的一种海量数据文件处理方法，可提高数据的采集的吞吐量、提高数据传输和存储的稳定性，加强数据计算的效率和数据查询的速度，以数据为核心的大数据技术支撑平台，它为政府或企业提供数据采集、存储、计算、分析、可视化、服务化等全生命周期、一站式数据解决方案，实用性强，适用范围广泛，具有很好的推广应用价值。

附图说明

附图1为本发明的实现框图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步说明。

如附图1所示，一种海量数据文件处理方法，本发明可处理目前互联网大数据，包括数据的采集、数据的转换存储、数据的计算和数据展现的一体化处理流程。

在该发明中，数据的采集主要使用Flume（分布式的日志收集系统）和Kafka（分布式消息系统）；数据的计算包括实时计算（Elasticsearch）和离线计算（Hive）；数据的展现包括数据多维度的分析和监控。

其实现过程为：

首先在客户端配置信息采集模块，该信息采集模块收集报文并校验；

将收集的报文转移到该信息采集模块的监控目录下；

然后通过实时计算和离线计算的方式，计算收集的报文；

最后将计算的报文结果进行图形化展示。

所述实时计算过程为：首先配置实时计算模块，该实时计算模块用于组合条件查询；实时计算模块在检索查询数据后，查看数据的明细，实时计算今日入库数量和实时入库条数，并将实时计算结果写入关系型数据库或内存数据库，用于前端展示。