[发明专利]数据采集方法及系统

说明书

本发明公开了一种数据采集方法及系统，通过采集目标软件的行为数据，调用J2SE服务，根据包括行为数据的数据类型、Topic类和数据存储路径的对应关系的预设配置表将行为数据写入Kafka系统，通过流式计算从Kafka系统中抽取行为数据，并进行储存。本发明在采集新数据类型的行为数据时，将配置预设配置表中行为数据的数据类型相应修改成目标软件的行为数据所属数据类型，并配置好目标软件的行为数据所属数据类型相对应的Topic类及数据存储路径的对应关系，即可实现对目标软件的行为数据的采集，不再需要开发数据接口和修改程序代码，大幅缩短数据采集周期。

技术领域

本发明涉及数据处理技术领域，具体为一种数据采集方法及系统。

背景技术

通过大数据来指导运营策略、改善用户体验，同时也通过对数据半自动或者自动分析，来快速定位被监控系统的问题，是目前进行流量精细化运营的主要手段。其中，针对手机软件(Application，APP)，一般通过对APP进行数据采集，来获取后续分析用的大数据。

现有的数据采集方法，是对不同数据类型的目标数据开发相对应的数据接口，通过该数据接口进行目标数据的采集。然而从采集需求的提出到开发、测试、投产一般需要至少3个月的时间。目前的app中需要采集的数据类型多、范围广、埋点难度高、需求大，按照现有采集方法，需要消耗大量的时间成本和金钱成本。

发明内容

本发明提供了一种数据采集方法及系统，可以解决现有技术中由于需要对不同数据类型的目标数据开发相对应的数据接口进行数据采集，导致数据采集会消耗大量的时间成本和金钱成本的问题。

为达到上述目的，本发明提供了如下技术方案：

一种数据采集方法，包括：

采集目标软件的行为数据；

调用J2SE服务，根据包括行为数据的数据类型、Topic类和数据存储路径的对应关系的预设配置表，按照行为数据的数据类型与Topic类的对应关系，将所述目标软件的行为数据写入Kafka系统；其中，相同类型的行为数据写入Kafka系统中的同一个Topic类中；

根据预设配置表中Topic类与数据存储路径的对应关系，通过流式计算从Kafka系统中抽取属于同一Topic类的行为数据，并根据所述数据存储路径对属于同一Topic类的行为数据进行储存。

可选的，所述采集目标软件的行为数据，包括：

通过软件开发工具包SDK采集目标软件的行为数据，并将所述目标软件的行为数据转换为JSON报文的格式。

可选的，所述预设配置表的建立过程，包括：

根据行为数据的数据类型进行分类，在Kafka系统中为每一种数据类型设置一个Topic类，以及设置每一种类型的行为数据的数据存储路径；

根据相对应的行为数据的数据类型、Topic类和数据存储路径建立所述预设配置表。

可选的，所述根据包括行为数据的数据类型、Topic类和数据存储路径的对应关系的预设配置表，按照行为数据的数据类型与Topic类的对应关系，将所述目标软件的行为数据写入Kafka系统，包括：

调用J2SE服务将所述JSON报文拆分成至少一条行为数据，并根据所述预设配置表中行为数据的数据类型与Topic类的对应关系将拆分出的行为数据逐条写入所述Kafka系统，并将拆分出的行为数据逐条与所述Kafka系统的Topic类对应。

可选的，所述根据所述预设配置表中Topic类与数据存储路径的对应关系，通过流式计算从Kafka系统中抽取属于同一Topic类的行为数据，包括：