[发明专利]数据采集方法、装置及终端设备

权利要求书

1.一种数据采集方法，其特征在于，包括：

读取预先配置的配置文件；

根据所述配置文件配置的采集任务，实时获取目标数据源数据，其中所述采集任务的数量大于1，每个采集任务对应一个所述目标数据源；所述目标数据源数据的数据类型包括数据库类型、日志类型及消息队列类型；

根据所述目标数据源数据的数据类型，判断所述目标数据源数据的有效性，丢弃无效的目标数据源数据；其中，若所述目标数据源数据的数据类型为.dbf后缀的数据库类型，则通过验证文件名、数据字段是否存在、是否有值的方式判断所述目标数据源数据的有效性；若所述目标数据源数据的数据类型为数据表形式的数据库类型，则通过验证表名、各字段是否存在、是否有值的方式判断所述目标数据源数据的有效性；若所述目标数据源数据的数据类型为日志类型，则通过匹配委托和成交字段的方式判断所述目标数据源数据的有效性；若所述目标数据源数据的数据类型为消息队列类型，则通过验证数据包的包体、包长的方式来进行数据有效性判断；

根据所述配置文件中与所述采集任务对应配置的解码器，解析所述目标数据源数据，得到第一数据；其中，所述解析所述目标数据源数据，包括：若判断出所述目标数据源数据为加密数据，则解密所述加密数据，并对解密得到的数据进行解析；

将所述第一数据进行格式转换，得到第二数据；

发送所述第二数据至开源分布式流处理平台Kafka的集群中。

2.如权利要求1所述的数据采集方法，其特征在于，在所述读取预先配置的配置文件之前，还包括：

若检测到新增的目标数据源，在所述配置文件中添加所述新增的目标数据源对应的采集任务。

3.如权利要求1所述的数据采集方法，其特征在于，在所述读取预先配置的配置文件之前，还包括：

若检测到目标数据源删除指令，根据所述目标数据源删除指令删减对应的目标数据源，并在所述配置文件中删除所述目标数据源对应的采集任务。

4.如权利要求1所述的数据采集方法，其特征在于，在所述读取预先配置的配置文件之前，还包括：

若所述目标数据源的数据类型发生变化，调整所述配置文件中的解码器。

5.如权利要求1所述的数据采集方法，其特征在于，将所述第一数据进行格式转换，得到第二数据，具体包括：

将所述第一数据进行字段转换，得到第三数据；

将所述第三数据转换为预定格式，得到第二数据。

6.如权利要求1至5任意一项所述的数据采集方法，其特征在于，在所述发送所述第二数据至开源分布式流处理平台Kafka的集群中之后，还包括：

若发送所述第二数据时检测到网络异常，重新发送所述第二数据至Kafka集群。