[发明专利]数据采集方法及系统

权利要求书

1.一种数据采集方法，其特征在于，包括：

采集目标软件的行为数据；

调用J2SE服务，根据包括行为数据的数据类型、Topic类和数据存储路径的对应关系的预设配置表，按照行为数据的数据类型与Topic类的对应关系，将所述目标软件的行为数据写入Kafka系统；其中，相同类型的行为数据写入Kafka系统中的同一个Topic类中；

根据预设配置表中Topic类与数据存储路径的对应关系，通过流式计算从Kafka系统中抽取属于同一Topic类的行为数据，并根据所述数据存储路径对属于同一Topic类的行为数据进行储存。

2.根据权利要求1所述的数据采集方法，其特征在于，所述采集目标软件的行为数据，包括：

通过软件开发工具包SDK采集目标软件的行为数据，并将所述目标软件的行为数据转换为JSON报文的格式。

3.根据权利要求1所述的数据采集方法，其特征在于，所述预设配置表的建立过程，包括：

根据行为数据的数据类型进行分类，在Kafka系统中为每一种数据类型设置一个Topic类，以及设置每一种类型的行为数据的数据存储路径；

根据相对应的行为数据的数据类型、Topic类和数据存储路径建立所述预设配置表。

4.根据权利要求2所述的数据采集方法，其特征在于，所述根据包括行为数据的数据类型、Topic类和数据存储路径的对应关系的预设配置表，按照行为数据的数据类型与Topic类的对应关系，将所述目标软件的行为数据写入Kafka系统，包括：

调用J2SE服务将所述JSON报文拆分成至少一条行为数据，并根据所述预设配置表中行为数据的数据类型与Topic类的对应关系将拆分出的行为数据逐条写入所述Kafka系统，并将拆分出的行为数据逐条与所述Kafka系统的Topic类对应。

5.根据权利要求1所述的数据采集方法，其特征在于，所述根据所述预设配置表中Topic类与数据存储路径的对应关系，通过流式计算从Kafka系统中抽取属于同一Topic类的行为数据，包括：

根据所述预设配置表中Topic类和数据存储路径的对应关系，通过流式计算从Kafka系统以固定时间间隔抽取属于同一Topic类的行为数据，并根据所述数据存储路径进行储存。

6.一种数据采集系统，其特征在于，包括：

采集单元，用于采集目标软件的行为数据；

写入单元，用于调用J2SE服务，根据包括行为数据的数据类型、Topic类和数据存储路径的对应关系的预设配置表，按照行为数据的数据类型与Topic类的对应关系，将所述目标软件的行为数据写入Kafka系统；其中，相同类型的行为数据写入Kafka系统中的同一个Topic类中；

抽取单元，用于根据预设配置表中Topic类与数据存储路径的对应关系，通过流式计算从Kafka系统中抽取属于同一Topic类的行为数据，并根据所述数据存储路径对属于同一Topic类的行为数据进行储存。

7.根据权利要求6所述的数据采集系统，其特征在于，所述采集单元，用于通过软件开发工具包SDK采集目标软件的行为数据，并将所述目标软件的行为数据转换为JSON报文的格式。

8.根据权利要求6所述的数据采集系统，其特征在于，还包括：

设置单元，用于根据行为数据的数据类型进行分类，在Kafka系统中为每一种数据类型设置一个Topic类，以及设置每一种类型的行为数据的数据存储路径；

建立单元，用于根据相对应的行为数据的数据类型、Topic类和数据存储路径建立所述预设配置表。

9.根据权利要求7所述的数据采集系统，其特征在于，所述写入单元，用于调用J2SE服务将所述JSON报文拆分成至少一条行为数据，并根据所述预设配置表中行为数据的数据类型与Topic类的对应关系将拆分出的行为数据逐条写入所述Kafka系统，并将拆分出的行为数据逐条与所述Kafka系统的Topic类对应。

10.根据权利要求6所述的数据采集系统，其特征在于，所述抽取单元，用于根据所述预设配置表中Topic类和数据存储路径的对应关系，通过流式计算从Kafka系统以固定时间间隔抽取属于同一Topic类的行为数据，并根据所述数据存储路径进行储存。