[发明专利]分布式数据采集方法和系统

说明书

本发明实施例公开了一种分布式数据采集方法和系统，涉及计算机技术领域。该实施例中的方法包括：配置管理模块统一管理JMX接口池的采集配置信息；分布式数据采集模块根据所述采集配置信息进行数据采集，并将采集的数据发送至分布式数据存储模块；分布式数据存储模块对所述采集的数据进行时序存储；数据展示模块对所述分布式数据存储模块中的数据进行展示。通过以上方法，能够极大地提高JMX格式数据采集的吞吐量，保证采集过程中每个环节的高可用、高可靠、可扩展性，保证数据在采集过程中的稳定性和可维护性。

技术领域

本发明涉及计算机技术领域，尤其涉及一种分布式数据采集方法和系统。

背景技术

随着开源技术社区的发展，热衷于使用开源软件的公司越来越多。比如，Hadoop、Storm、Spark、HBase等与大数据相关的开源软件得到了广泛应用。这些开源软件的接口规范大多是基于JMX(Java管理扩展)的标准。在这样的背景下，基于JMX标准的数据采集工作显得特别重要。

现有基于JMX标准的数据采集、存储、展示大多是采用现成的开源监视工具，比如Open-Falcon、Flume、Nagios、Ganglia等。不同用户可选择符合自己需求的场景来使用。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：现有开源监视工具往往只能满足业务比较单一、采集数据量较少的需求，而对于采集数据量较多、业务场景较复杂、展示要求比较高的情况则无法满足。比如，现有开源监视工具的软件配置比较繁琐，基于软件的二次开发和利用需要增加更多的成本；现有开源监视工具的数据展示不够友好；现有开源监视工具的数据存储量有限、数据吞吐量较少。当存储的数据量达到TB以上时，现有开源监视工具的各种性能问题接踵而至、层出不穷。例如，图表部分或全部无法显示、数据显示非常慢、服务频繁重启导致服务不可用等。

发明内容

有鉴于此，本发明实施例提供一种分布式数据采集方法和系统，以极大地提高JMX格式数据采集的吞吐量，保证采集过程中每个环节的高可用、高可靠、可扩展性，保证数据在采集过程中的稳定性和可维护性。

为实现上述目的，根据本发明实施例的一个方面，提供了一种分布式数据采集方法。

本发明实施例中的分布式数据采集方法包括：配置管理模块统一管理JMX接口池的采集配置信息；分布式数据采集模块根据所述采集配置信息进行数据采集，并将采集的数据发送至分布式数据存储模块；分布式数据存储模块对所述采集的数据进行时序存储；数据展示模块对所述分布式数据存储模块中的数据进行展示。

可选地，所述采集配置信息包括：业务类型、URL和采集规则。

可选地，所述方法还包括：在分布式数据采集模块根据所述采集配置信息进行数据采集的步骤之前，根据一致性哈希算法对分布式数据采集模块中的采集客户端进行分布式部署。

可选地，分布式数据采集模块根据所述采集配置信息进行数据采集的步骤包括：分布式数据采集模块基于线程池的任务调度策略向所述URL请求数据，并将获取的数据进行归并整理，然后将归并整理后的数据发送至分布式数据存储模块；其中，所述归并整理后的数据包括：指标名、指标值、时间戳、标签名、标签值。

可选地，分布式数据存储模块对所述采集的数据进行时序存储的步骤包括：根据预设的映射规则对指标名、标签名、标签值分别进行映射，生成与指标名、标签名、标签值分别对应的唯一标识；根据生成的唯一标识和所述时间戳生成结构化数据库的行键名，并将预设时间段内的指标值存入所述行键名对应的列。

可选地，所述方法还包括：在分布式数据采集模块根据所述采集配置信息进行数据采集的步骤之后，分布式数据采集模块将采集的数据发送至消息订阅模块，并由消息订阅模块将所述采集的数据发送至分布式数据存储模块。