[发明专利]数据综合采集方法及系统

说明书

技术领域

本发明涉及数据采集领域，具体地，涉及一种数据综合采集方法及系统。

背景技术

目前，主要是以人工手动录入的方式来采集通信系统不同类型的数据源。这种数据采集方式的成本高，无法适应不同环境下的数据文件传输，且数据交互效率低下。

发明内容

本发明实施例的主要目的在于提供一种数据综合采集方法，以减少人力成本，适应不同环境下的数据文件传输，以及提高数据交互效率。

为了实现上述目的，本发明实施例提供一种数据综合采集方法，包括：

读取配置文件信息，并将配置文件信息加载到内存中，其中，配置文件信息包括采集地址、采集频率、采集协议、匹配规则和目标地址；

根据配置文件信息创建线程；

登录目标地址或采集地址所在的远程主机；

执行线程，包括：

根据采集地址获取数据文件列表，数据文件列表包括多个待采集的数据文件；

根据匹配规则过滤数据文件列表，获取目标数据文件列表，目标数据文件列表包括多个目标数据文件；

确定目标数据文件对应的采集协议；

按照采集频率和目标数据文件对应的采集协议，将目标数据文件列表移动并存储至目标地址。

在其中一种实施例中，配置文件信息还包括：线程的处理指令；

执行线程，具体包括：根据线程的处理指令，获取线程或发送线程；

在获取线程时，采集地址位于远程主机，目标地址位于本地主机；

在发送线程时，采集地址位于本地主机，目标地址位于远程主机。

在其中一种实施例中，配置文件信息还包括临时地址；

按照采集频率和目标数据文件对应的采集协议，将目标数据文件列表移动并存储至目标地址，具体包括：

按照采集频率和目标数据文件对应的采集协议，将目标数据文件列表移动并存储至临时地址；

比较存储在临时地址中的目标数据文件与存储在采集地址中的目标数据文件的大小；

当临时地址中的目标数据文件与采集地址中的目标数据文件大小相等时，按照采集频率和目标数据文件对应的采集协议，将临时地址中的目标数据文件列表移动并存储至目标地址。

在其中一种实施例中，配置文件信息还包括：文件解压缩规则；

当临时地址中的目标数据文件与采集地址中的目标数据文件大小相等时，按照采集频率和目标数据文件对应的采集协议，将临时地址中的目标数据文件列表移动并存储至目标地址，具体包括：

在获取线程时，当临时地址中的目标数据文件与采集地址中的目标数据文件大小相等时，根据文件解压缩规则，对临时地址中的目标数据文件进行压缩处理或减压处理，并按照采集频率和临时地址中的目标数据文件对应的采集协议，将临时地址中的目标数据文件列表移动并存储至目标地址，临时地址中的目标数据文件列表包括多个经过压缩处理或减压处理的目标数据文件。

在其中一种实施例中，配置文件信息还包括：文件改名规则；

当临时地址中的目标数据文件与采集地址中的目标数据文件大小相等时，按照采集频率和目标数据文件对应的采集协议，将临时地址中的目标数据文件列表移动并存储至目标地址，具体包括：

在获取线程时，当临时地址中的目标数据文件与采集地址中的目标数据文件大小相等时，根据文件改名规则，更改临时地址中的目标数据文件的文件名称，并按照采集频率和临时地址中的目标数据文件对应的采集协议，将临时地址中的目标数据文件列表移动并存储至目标地址，临时地址中的目标数据文件列表包括多个经过改名的目标数据文件。

在其中一种实施例中，根据配置文件信息创建线程，还包括：根据配置文件信息创建线程后，创建索引文件；

当临时地址中的目标数据文件与采集地址中的目标数据文件大小相等时，按照采集频率和目标数据文件对应的采集协议，将临时地址中的目标数据文件列表移动并存储至目标地址，具体包括：

当临时地址中的目标数据文件与采集地址中的目标数据文件大小相等时，根据索引文件，对临时地址中的目标数据文件进行文件查重处理，并按照采集频率和临时地址中的目标数据文件对应的采集协议，将临时地址中的目标数据文件列表移动并存储至目标地址，临时地址中的目标数据文件列表包括多个经过文件查重处理的目标数据文件。

在其中一种实施例中，按照采集频率和目标数据文件对应的采集协议，将目标数据文件列表移动并存储至目标地址，还包括：