[发明专利]一种基于链式处理的数据收集系统及其方法

权利要求书

1.一种基于链式处理的数据收集系统，其特征在于，所述数据收集系统主要包括服务器集群，其体系架构包含数据采集层即Client端、数据中转层即Transfer端和数据存储层；其中：

所述数据采集层由Client端完成，部署在每台服务器上，用于完成具体的数据采集任务，并将数据传送至Transfer端；

所述数据中转层由Transfer端完成，负责接收数据，并将接收到的数据通过一系列Handler进行链式处理；

所述数据存储层，用于将所述中转层处理过的数据或采集层的原始数据进行存储，作为后续分析展示的存储引擎。

2. 根据权利要求1所述基于链式处理的数据收集系统，其特征在于，所述数据采集层，由Client端提供一个通用接口，其包含三部分：任务读取或接收接口、数据发送接口及通用调度接口；其中：

所述任务读取或接收接口，用于与控制端的交互，当用户添加一个收集任务时，任务通过该接口推送至采集端，同时采集端在启动时也通过该接口从控制端读取所有任务；数据发送接口，用于实时将收集到的数据发送至数据中转端；通用调度接口，用于调度具体的收集脚本或程序，实现具体的数据收集。

3.根据权利要求1所述基于链式处理的数据收集系统，其特征在于，所述数据中转层的Handler链包含数据解析、数据存储、报警转发功能，每个功能通过一个具体的Handler实现。

4.根据权利要求1或3所述基于链式处理的数据收集系统，其特征在于，所述Handler之间通过MsgDoc结构体进行数据传递，包含request_handler、analyze_handler和storage_hander的处理引擎。

5.根据权利要求4所述基于链式处理的数据收集系统，其特征在于，所述MsgDoc定义为一个包含对接收字符串的解析结果的一个结构体；Handler定义为一个基础数据处理引擎，Handler的处理实体是MsgDoc，每个Handler包含一个输入队列和输出队列，用于缓存数据。

6.根据权利要求1所述基于链式处理的数据收集系统，其特征在于，在所述存储层，采用Hbase作为存储引擎，通过中转层的hbase_handler实现。

7.一种基于链式处理的数据收集方法，其特征在于，该方法包括：

A、编写数据收集脚本，数据收集脚本用于收集具体数据，其运行于目标服务器上；

B、添加任务的步骤：将任务信息发送至Client端，将任务信息同时写入任务信息库，所述任务信息库用于任务管理，同时提供接口供Client主动获取任务信息；

C、定期执行任务的步骤：根据任务信息，运行脚本，收集数据，并将数据发送至中转端；

D、中转端处理的步骤：中转端基础的处理引擎是request_handler、analyze_handler、storage_handler；其中，request_handler是一个数据接收接口，将接收到的数据进行一个基本的格式判断，将符合格式要求的数据放入出队列，交给下一个handler处理；analyze_handler用于解析收到的字符串，将其转化为MsgDoc结构体，由于发送端可以批量发送，一个字符串可能解析出多个MsgDoc；storage_handler用于将数据存储至指定存储引擎。

8.根据权利要求7所述基于链式处理的数据收集方法，其特征在于，步骤D之后进一步包括：

E、通过HBase接口实现对数据的详细处理。

9.根据权利要求7所述基于链式处理的数据收集方法，其特征在于，步骤C进一步包括：Client端在选择发送的Transfer时，通过zookeeper获取所有Transfer机器并选择一台健康值高的Transfer。