[发明专利]一种基于多系统下可插拔式组件数据汇聚系统及汇聚方法

权利要求书

1.一种基于多系统下可插拔式组件数据汇聚系统，其特征在于，包括汇聚服务器、消息中间件、转换处理器和消费处理器；

汇聚服务器，部署有可插拔的汇聚组件，用于适配不同系统、不同结构数据源，通过汇聚组件采集业务系统数据源系统的数据流，并将采集的数据流归集到消息中间件；

消息中间件，用于存储汇聚服务器采集的数据流和经过转换处理器处理后结构化数据；

转换处理器，基于数据源格式的通用匹配数据格式处理器，将源数据处理成结构化数据，格式为标准json数据；

消费处理器，从消息中间件中获取结构化数据流，通过消费处理器进行实时调用消费并将数据流向到大数据实时库。

2.根据权利要求1所述的基于多系统下可插拔式组件数据汇聚系统，其特征在于，所述汇聚服务器为云服务器或物理服务器，云服务器或物理服务器与被采集服务器系统网络互通，数据端口开放共享，且网络协议中支持主流TCP协议。

3.根据权利要求1所述的基于多系统下可插拔式组件数据汇聚系统，其特征在于，所述汇聚服务器、消息中间件和消费处理器均能处理来自不同操作系统下的数据源，实现两种及其以上操作系统下的数据汇聚，操作系统包括Windows操作系统、Unix操作系统、linux操作系统。

4.根据权利要求1所述的基于多系统下可插拔式组件数据汇聚系统，其特征在于，所述消息中间件为kafka，配置数据库为MySql或Oracle。

5.一种基于多系统下可插拔式组件数据汇聚方法，其特征在于，包括如下步骤：

(1)汇聚系统组建：开放业务系统的数据协议接口，将汇聚服务器与被接入业务系统数据流进行接口适配，并将采集的数据流经转换处理器进行数据转换，形成结构化数据存储到消息中间件，并调用消息中间件进行消息消费处理；

(2)数据汇聚处理：汇聚服务器通过Filebeat收集被采集业务系统的数据流，数据流经过数据转换器进行过滤处理后传送给消息中间件中的kafka或集群进行存储，通过Logstash工具再到消息中间件中的kafka中获取数据，传给Elasticsearch工具进行数据分析处理，最后到kibana工具进行展示。

6.根据权利要求5所述的基于多系统下可插拔式组件数据汇聚方法，其特征在于，步骤(1)中形成结构化数据的处理方式如下：

基于Java语言调用SocketServer、RestfulAPI、JDBC不同协议数据流，并将不同结构数据经过统一结构处理器转换封装成标准的结构化数据对象，将数据对象封装成统一结构化json数据，并对数据进行标签化，然后将数据对象存储至消息中间件。

7.根据权利要求5所述的基于多系统下可插拔式组件数据汇聚方法，其特征在于，步骤(1)所述的消息中间为kafka，利用ElasticSearch进行数据存储，通过多进程及多线程方式对消息中间件中封装好的数据对象进行调用。

8.根据权利要求5所述的基于多系统下可插拔式组件数据汇聚方法，其特征在于，步骤(2)中所述的Logstash在获取消息中间件数据的时候包括对数据流进行拆分和重组处理，将处理后的数据对象存储到Elastic Search中。