[发明专利]分布式数据采集方法和系统

权利要求书

1.一种分布式数据采集方法，其特征在于，所述方法包括：

配置管理模块统一管理JMX接口池的采集配置信息；

分布式数据采集模块根据所述采集配置信息进行数据采集，并将采集的数据发送至分布式数据存储模块；

分布式数据存储模块对所述采集的数据进行时序存储；

数据展示模块对所述分布式数据存储模块中的数据进行展示。

2.根据权利要求1所述的方法，其特征在于，所述采集配置信息包括：业务类型、URL和采集规则。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：在分布式数据采集模块根据所述采集配置信息进行数据采集的步骤之前，根据一致性哈希算法对分布式数据采集模块中的采集客户端进行分布式部署。

4.根据权利要求2所述的方法，分布式数据采集模块根据所述采集配置信息进行数据采集的步骤包括：

分布式数据采集模块基于线程池的任务调度策略向所述URL请求数据，并将获取的数据进行归并整理，然后将归并整理后的数据发送至分布式数据存储模块；

其中，所述归并整理后的数据包括：指标名、指标值、时间戳、标签名、标签值。

5.根据权利要求1所述的方法，其特征在于，分布式数据存储模块对所述采集的数据进行时序存储的步骤包括：

根据预设的映射规则对指标名、标签名、标签值分别进行映射，生成与指标名、标签名、标签值分别对应的唯一标识；

根据生成的唯一标识和所述时间戳生成结构化数据库的行键名，并将预设时间段内的指标值存入所述行键名对应的列。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：在分布式数据采集模块根据所述采集配置信息进行数据采集的步骤之后，分布式数据采集模块将采集的数据发送至消息订阅模块，并由消息订阅模块将所述采集的数据发送至分布式数据存储模块。

7.根据权利要求1所述的方法，其特征在于，数据展示模块对所述分布式数据存储模块中的数据进行展示的步骤包括：

数据展示模块向分布式数据存储模块发送获取待展示数据的请求，并通过预先定制的可视化界面对所述待展示数据进行展示。

8.一种分布式数据采集系统，其特征在于，包括：

配置管理模块，用于统一管理JMX接口池的采集配置信息；

分布式数据采集模块，用于根据所述采集配置信息进行数据采集，并将采集的数据发送至分布式数据存储模块；

分布式数据存储模块，用于对所述采集的数据进行时序存储；

数据展示模块，用于对所述分布式数据存储模块中的数据进行展示。

9.根据权利要求8所述的系统，其特征在于，所述采集配置信息包括：业务类型、URL和采集规则。

10.根据权利要求8所述的系统，其特征在于，所述分布式数据采集模块还用于：根据一致性哈希算法对分布式数据采集模块中的采集客户端进行分布式部署。

11.根据权利要求9所述的系统，其特征在于，所述分布式数据采集模块根据所述采集配置信息进行数据采集，包括：

分布式数据采集模块基于线程池的任务调度策略向所述URL请求数据，并将获取的数据进行归并整理，然后将归并整理后的数据发送至分布式数据存储模块；

其中，所述归并整理后的数据包括：指标名、指标值、时间戳、标签名、标签值。

12.根据权利要求8所述的系统，其特征在于，所述分布式数据存储模块包括：

数据存储中间件，用于根据预设的映射规则对指标名、标签名、标签值分别进行映射，生成与指标名、标签名、标签值分别对应的唯一标识；

结构化数据库，用于根据生成的唯一标识和所述时间戳生成行键名，并将预设时间段内的指标值存入所述行键名对应的列。