[发明专利]一种灵活可配接口的数据采集系统及方法

权利要求书

1.一种灵活可配接口的数据采集方法，其特征在于，包括如下步骤：

获取数据源信息；

根据数据源信息确定数据采集的任务名称；

根据任务名称配置接口基础信息和接口参数；

执行任务，根据接口基础信息和接口参数请求接口进行数据采集；

将返回的参数和数据表字段构建映射关系，链接到数据库，遍历接口请求，对返回的参数和对应的数据表字段对应后保存入库。

2.如权利要求1所述的一种灵活可配接口的数据采集方法，其特征在于，所述接口基础信息包括接口风格、接口地址、请求类型、返回数据类型以及数据源。

3.如权利要求2所述的一种灵活可配接口的数据采集方法，其特征在于，所述接口风格包括restful和webservice两种类型，所述restful和webservice两种类型对应的接口请求不同。

4.如权利要求2所述的一种灵活可配接口的数据采集方法，其特征在于，所述请求类型包括是否分页采集，确定分页参数，所述分页参数包括参数名、参数类型、参数位置、参数值以及参数描述。

5.如权利要求1所述的一种灵活可配接口的数据采集方法，其特征在于，所述映射关系包括全量模式和增量模式，其中，在全量模式下，接口请求到的数据进行一次性拉取；增量模式下，根据增量字段记录的值多次拉取，下次拉取从当前值继续拉取。

6.如权利要求1所述的一种灵活可配接口的数据采集方法，其特征在于，所述根据任务名称配置还包括任务同步周期配置。

7.如权利要求6所述的一种灵活可配接口的数据采集方法，其特征在于，所述任务同步周期配置，包括一次性任务或周期性任务，配置任务模式为插入或覆盖、配置起止时间以及调度频率。

8.一种灵活可配接口的数据采集系统，其特征在于，

数据源获取模块，其被配置为：获取数据源信息；

任务名称配置模块，其被配置为：根据数据源信息确定数据采集的任务名称；

接口参数配置模块，其被配置为：根据任务名称配置接口基础信息和接口参数；

数据采集模块，其被配置为：执行任务，根据接口基础信息和接口参数请求接口进行数据采集；

数据存储模块，其被配置为：将返回的参数和数据表字段构建映射关系，链接到数据库，遍历接口请求，对返回的参数和对应的数据表字段对应后保存入库。

9.一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现上述权利要求1-7任一所述的一种灵活可配接口的数据采集方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征是，该程序被处理器执行时执行上述权利要求1-7任一所述的一种灵活可配接口的数据采集方法的步骤。