[发明专利]数据采集方法和装置

说明书

技术领域

本申请涉及互联网数据存储技术，具体涉及一种数据采集方法和装置。

背景技术

Hadoop是一个提供海量数据存储和计算的分布式平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。数据埋点采集是数据分析的一种常用的数据采集方法。数据埋点分为初级、中级、高级三种方式。

初级：在产品、服务转化关键点植入统计代码，据其独立ID确保数据采集不重复(如购买按钮点击率)；

中级：植入多段代码，追踪用户在平台每个界面上的系列行为，事件之间相互独立(如打开商品详情页——选择商品型号——加入购物车——下订单——购买完成)；

高级：联合公司的工程、ETL(Extract-Transform-Load)数据仓库采集分析用户全量行为，建立用户画像，还原用户行为模型，作为产品分析、优化的基础。

手动埋点工程量极大、容易出错，其开发周期长，耗时费力，很多公司并不具备自己埋点的能力。埋点式采集的部署、维护复杂度和成本较高。

发明内容

有鉴于此，本申请实施例提供了无埋点式的数据采集方法和装置，以解决埋点式数据采集的上述技术问题。

根据本申请实施例的一个方面，提供了一种数据采集方法，该方法包括：读取配置信息，所述配置信息包括节点信息、集群名称以及监控项；根据节点信息确定Hadoop集群的主节点；访问所述主节点，根据所述集群名称获取所述Hadoop集群的节点拓扑结构；并发访问所述节点拓扑结构中的每个节点，从每个节点的监控记录中获取与所述监控项对应的监控数据。

在一个实施例中，所述数据采集方法还包括：将所述监控数据按照不同的监控项存储至时间序列数据库。

优选的，将所述监控数据按照不同的监控项存储至时间序列数据库包括：在所述时间序列数据库中将所述监控数据按照不同的监控项分别保存；对监控数据用标签进行标注，以区分不同的数据源。

优选的，将所述监控数据按照不同的监控项存储至时间序列数据库进一步还包括：在所述时间序列数据库中对监控数据按照不同的数据源分别进行聚合。

在一个实施例中，所述数据采集方法还包括：接收针对监控项的数据查询请求；根据请求的监控项从所述时间序列数据库中输出对应的监控数据作为查询结果。

在一个实施例中，所述数据采集方法还包括：将获取到的监控数据接入具有报警功能的运维自动化系统，由所述运维自动化系统根据不同监控项的预设报警策略输出报警信息。

在一个实施例中，所述数据采集方法还包括：利用网络爬虫工具抓取所述Hadoop集群对应的前端服务页面的操作数据；将所述操作数据接入运维自动化系统，由所述运维自动化系统根据操作数据的预设报警策略输出报警信息。

根据本申请实施例的另一个方面，提供了一种数据采集装置，所述装置包括：读取模块，用于读取配置信息，所述配置信息包括节点信息、集群名称以及监控项；主节点选择模块，用于根据节点信息确定Hadoop集群的主节点；集群拓扑获取模块，用于访问所述主节点，根据所述集群名称获取所述Hadoop集群的节点拓扑结构；监控数据获取模块，用于并发访问所述节点拓扑结构中的每个节点，从每个节点的监控记录中获取与所述监控项对应的监控数据。

在一个实施例中，所述数据采集装置还包括：监控数据存储模块，用于将所述监控数据按照不同的监控项存储至时间序列数据库。

优选的，监控数据存储模块包括：存储单元，用于在所述时间序列数据库中将所述监控数据按照不同的监控项分别保存；标注单元，用于对监控数据用标签进行标注，以区分不同的数据源。

优选的，监控数据存储模块进一步还包括：聚合单元，在所述时间序列数据库中对监控数据按照不同的数据源分别进行聚合。

在一个实施例中，所述数据采集装置还包括：查询请求接收模块，用于接收针对监控项的数据查询请求；查询结果输出模块，用于根据请求的监控项从所述时间序列数据库中输出对应的监控数据作为查询结果。

在一个实施例中，所述数据采集装置还包括：监控数据接入模块，用于将获取到的监控数据接入具有报警功能的运维自动化系统，由所述运维自动化系统根据不同监控项的预设报警策略输出报警信息。

在一个实施例中，所述数据采集装置还包括：操作数据抓取模块，用于利用网络爬虫工具抓取所述Hadoop集群对应的前端服务页面的操作数据；操作数据存储模块，用于将所述操作数据接入运维自动化系统，由所述运维自动化系统根据操作数据的预设报警策略输出报警信息。