[发明专利]一种灵活可配接口的数据采集系统及方法

说明书

本发明公开了一种灵活可配接口的数据采集系统及方法，该方法包括如下步骤：获取数据源信息；根据数据源信息确定数据采集的任务名称；根据任务名称配置接口基础信息和接口参数；执行任务，根据接口基础信息和接口参数请求接口进行数据采集；将返回的参数和数据表字段构建映射关系，链接到数据库，遍历接口请求，对返回的参数和对应的数据表字段对应后保存入库。

技术领域

本发明涉及数据采集技术领域，尤其涉及一种灵活可配接口的数据采集系统及方法。

背景技术

随着社会的不断进步，为了进一步提升人们的生活质量和便捷性，需要对各个来源的数据进行整合分析，接口作为数据采集的重要途径之一愈发显得重要。

然而使用接口进行数据采集也面临着巨大挑战，如现存接口大多根据业务需求，第三方技术选型，接口风格，数据格式等条件进行定制开发，耦合性强。一旦第三方接口进行升级，如入参类型，个数的改变、返回结果重要字段的追加。势必会影响到数据采集任务，导致数据采集任务跟着升级改造。接口的升级必然伴随着采集方法修改，联调测试，线上部署等一系列工作量的提升，人力的投入，财力消耗，同时也影响到数据的实时性。如果现在有很多接口需要进行接口数据采集并入库，并需要定时的去执行，就成为了一项繁杂的工作。

发明内容

为了解决现有技术的不足，本发明设计了一种灵活可配接口的数据采集系统及方法，兼容多种接口，灵活可配置，不因第三方接口而产生定制数据采集的重复工作量，不仅能解决因业务不同而导致的接口数据采集定制开发量，同时也减少了后期因第三方接口升级而导致的人力，财力投入。

本发明为了实现上述目的，本发明的技术方案如下：

第一方面，公开了一种灵活可配接口的数据采集方法，包括如下步骤：

获取数据源信息，所述数据源包括数据源链接信息、数据库名称、数据表名称、数据表字段；

根据数据源信息确定数据采集的任务名称；

根据任务名称配置接口基础信息和接口参数；

执行任务，根据接口基础信息和接口参数请求接口进行数据采集；

将返回的参数和数据表字段构建映射关系，链接到数据库，遍历接口请求，对返回的参数和对应的数据表字段对应后保存入库。

进一步的技术方案，所述接口基础信息包括接口风格、接口地址、请求类型、返回数据类型以及数据源。

进一步的技术方案，所述接口风格包括restful和webservice两种类型，所述restful和webservice两种类型对应的接口请求不同。

进一步的技术方案，所述请求类型包括是否分页采集，确定分页参数，所述分页参数包括参数名、参数类型、参数位置、参数值以及参数描述。

进一步的技术方案，所述映射关系包括全量模式和增量模式，其中，在全量模式下，接口请求到的数据进行一次性拉取；增量模式下，根据增量字段记录的值多次拉取，下次拉取从当前值继续拉取。

进一步的技术方案，所述根据任务名称配置还包括任务同步周期配置。

进一步的技术方案，所述任务同步周期配置，包括一次性任务或周期性任务，配置任务模式为插入或覆盖、配置起止时间以及调度频率。

第二方面，公开了一种灵活可配接口的数据采集系统，包括：

数据源获取模块，其被配置为：获取数据源信息，所述数据源包括数据源链接信息、数据库名称、数据表名称、数据表字段；

任务名称配置模块，其被配置为：根据数据源信息确定数据采集的任务名称；

接口参数配置模块，其被配置为：根据任务名称配置接口基础信息和接口参数；