[发明专利]一种数据采集方法、系统、电子设备及存储介质

说明书

本发明实施例提供了一种数据采集方法、系统、电子设备及存储介质，数据采集方法包括：获取数据采集对应的指令信息集，所述数据采集对应的指令信息集包括：被采集业务系统的标识，以及采集被采集业务系统数据的业务流程对应的指令信息；基于被采集业务系统的标识，以及采集被采集业务系统数据的业务流程对应的指令信息，利用预设接口，获取被采集业务系统的源数据。本发明实施例，不需要对被采集业务系统的输入/输出接口分析，就能够基于包括采集被采集业务系统数据的业务流程对应的指令信息的指令信息集，完成对被采集业务系统数据的采集，缩短了数据采集的周期，提高了数据采集的效率。

技术领域

本发明涉及计算机技术领域，特别是涉及一种数据采集方法、系统、电子设备及存储介质。

背景技术

大数据平台通过采集不同业务系统的数据发挥大数据的数据价值，工业大数据应用中，各业务系统分散在不同的职能部门，业务系统对应的系统厂商以及实现技术可能不同，进而各业务系统之间的数据交互需要一定的技术手段。相关技术中，在各业务系统实现数据对接上，经历了四个阶段，如图1所示，第一阶段为人工阶段，例如政务系统，需要人工去一个业务系统调取数据或开具数据证明，进而再去另一个业务系统办理业务，在该阶段数据采集效率较低。第二阶段为数据库开放阶段，该阶段中一个业务系统的数据库可以调用另一个业务系统数据库中的数据，但是涉及到数据安全问题。第三阶段为目前常见的API(Application Programming Interface，应用程序接口)对接阶段，该阶段中针对不同的业务系统，业务对接人员需要不断交流，对应开发新的API接口，实施周期长、产生的费用也高。第四阶段为直接采集阶段，一定程度上改善了AP I对接阶段存在的缺陷。

现有实现对不同业务系统进行数据采集使用的直接采集方法为：前端人员对被采集业务系统进行输入/输出接口分析，得到被采集业务系统原有输入/输出接口相关信息，进而将被采集业务系统原有输入/输出接口相关信息封装成新的API接口，在接收到对被采集业务系统的数据采集请求后，直接通过新的API接口采集被采集业务系统的数据，相当于新的API接口代理了数据采集请求并实现数据的采集，如图2所示。现有实现对不同业务系统进行数据采集使用直接采集方法的产品，例如燕云Daas产品，其数据采集的过程示意图如图3所示。

上述对不同业务系统进行数据采集使用的直接采集方法中，需要前端人员对被采集业务系统的输入/输出接口分析，在分析的过程中，需要对接口相关的每个字段对应的业务知识进行了解，进而耗费的周期较长，且随着对网络安全的要求越来越高，在遇到字段加解密的情况下，需要耗费人力进行字段的加解密，接口分析的阻碍较大，数据采集困难，导致数据采集效率不高。

发明内容

本发明实施例的目的在于提供一种数据采集方法、系统、电子设备及存储介质，用以提高数据采集的效率。具体技术方案如下：

第一方面，本发明实施例提供了一种数据采集方法，所述方法包括：

获取数据采集对应的指令信息集，所述数据采集对应的指令信息集包括：被采集业务系统的标识，以及采集被采集业务系统数据的业务流程对应的指令信息；

基于所述被采集业务系统的标识，以及采集被采集业务系统数据的业务流程对应的指令信息，利用预设接口，获取所述被采集业务系统的源数据；所述预设接口为能够通过该预设接口访问所述被采集业务系统的接口。

可选地，所述基于所述被采集业务系统的标识，以及采集被采集业务系统数据的业务流程对应的指令信息，利用预设接口，获取所述被采集业务系统的源数据的步骤，包括：

对所述被采集业务系统的标识进行解析，得到被采集业务系统对应的浏览器驱动；

加载所述浏览器驱动，并通过所述浏览器驱动对应的预设接口，将所述采集被采集业务系统数据的业务流程对应的指令信息，依次发送给所述被采集业务系统；

通过所述预设接口，获取所述被采集业务系统的源数据。