[发明专利]基于线程划分的数据采集方法、装置及数据采集设备

说明书

本发明提供了一种基于线程划分的数据采集方法、装置及数据采集设备，能够根据类别信息确定每个业务终端的第一数据格式，结合数据采集设备的第二数据格式生将生成的格式转换协议下发至对应的业务终端，业务终端可根据格式转换协议将业务数据包转换为目标数据包，将业务数据包中的冗余数据剔除，提高数据采集的效率。然后根据日志文件启动多个并行的第二数据采集线程，并为每个数据采集线程分配采集标识，基于每个第二数据采集线程的采集标识匹配到对应的业务终端以实现数据采集。综上，采集标识是基于第一数据格式的数据容量大小分配的，能够确保第二数据采集线程采集的目标数据包的数据容量大小与该线程的采集速率匹配，减少数据采集的耗时。

技术领域

本发明涉及数据采集技术领域，具体而言，涉及一种基于线程划分的数据采集方法、装置及数据采集设备。

背景技术

大数据技术的快速发展为现代社会的生产生活带来了诸多便利，现如今，各类业务处理可以基于大数据实现。数据采集作为大数据技术的重要的一环，能够将生产生活中的各类信息以数据的形式进行汇总，为大数据分析提供海量的数据基础。然而数据采集设备在进行数据采集时，往往存在耗时长且效率低下的问题。

发明内容

为了改善上述问题，本发明提供了一种基于线程划分的数据采集方法、装置及数据采集设备。

本发明实施例的第一方面，提供了一种基于线程划分的数据采集方法，应用于与多个业务终端通信的数据采集设备，所述数据采集设备和所述业务终端基于Linux环境和DPDK环境实现数据交互，所述方法包括：

获取每个业务终端的类别信息，根据所述类别信息确定每个业务终端在进行业务数据处理时的第一数据格式；

确定数据采集设备与所述业务终端通信的第二数据格式，根据每个第一数据格式的第一格式特征与所述第二数据格式的第二格式特征之间的相似度生成每个第一数据格式对应的格式转换协议，并将每个格式转换协议下发至对应的业务终端；

解析预设的第一数据采集线程得到用于启动所述第一数据采集线程的日志文件；

根据所述日志文件启动多个并行的第二数据采集线程，按照每个第一数据格式所表征的数据容量大小为每个第二数据采集线程分配采集标识；

在接收到针对每个业务终端进行同步数据采集的指令时，通过每个第二数据采集线程对每个业务终端中的目标数据包进行采集；其中，所述目标数据包是每个业务终端根据该业务终端对应的格式转换协议对该业务终端的业务数据包进行数据格式转换得到的，每个第二数据采集线程的采集标识与该第二数据采集线程对应采集的业务终端的类别信息相匹配。

可选地，所述根据所述类别信息确定每个业务终端的第一数据格式，包括：

提取所述类别信息中的目标字段；

从所述目标字段中确定出第一字段信息和第二字段信息，所述第一字段信息用于表征业务终端对应的用户行为的调用方式，所述第二字段信息用于表征业务终端对根据所调用的用户行为生成的目标业务数据进行存储的存储方式；

根据所述第一字段信息和所述第二字段信息之间的相同字段确定所述第一字段信息与所述第二字段信息之间的指向信息，所述指向信息用于表征所述目标业务数据在业务终端中的存储路径；

确定所述指向信息中每个路径节点对应的目标数据格式，所述路径节点用于表征将所述目标业务数据进行存储时所述目标业务数据所处的存储区间，所述目标数据格式为每个存储区间对应的数据格式；

根据所述第二字段信息中的存储方式以及每个路径节点对应的目标数据格式，确定每个业务终端的第一数据格式。

可选地，所述根据所述第二字段信息中的存储方式以及每个路径节点对应的目标数据格式，确定每个业务终端的第一数据格式，包括：