[发明专利]数据集成方法及装置、电子设备、存储介质

说明书

本申请提供一种数据集成方法及装置、电子设备、计算机可读存储介质，方法包括：依据预设数据集成配置中的项目标识和凭据信息，生成连接请求；向服务端发起连接请求；其中，所述连接请求用于与服务端建立连接；响应于针对目标数据源中目标数据表的传输指令，将所述目标数据表中的数据传输至所述服务端。本申请方案，对于不同被采集数据源，通过客户端的上述措施均可实现数据传输，从而降低了开发人员针对不同被采集数据源开发对应接口的人工成本，提高了数据集成的效率。

技术领域

本申请涉及数据处理技术领域，特别涉及一种数据集成方法及装置、电子设备、计算机可读存储介质。

背景技术

数据集成平台是可跨异构数据存储系统的数据同步平台，用于实现离线(批量)数据集成、汇聚和实时数据计入。一般，可在被采集数据源和采集数据源所在网络分别部署相关的WEB(World Wide Web，全球广域网)应用用于数据采集和接收。该方案需为WEB应用开放相应的接口，比较繁琐。在新增其它被采集数据源时，仍需要重新定制化开发对应的接口，这样会增加开发成本，降低数据集成的效率。

发明内容

本申请实施例的目的在于提供一种数据集成方法及装置、电子设备、计算机可读存储介质，用于降低开发成本，提高数据集成的效率。

一方面，本申请提供了一种数据集成方法，应用于客户端，包括：

依据预设数据集成配置中的项目标识和凭据信息，生成连接请求；

向服务端发起连接请求；其中，所述连接请求用于与服务端建立连接；

响应于针对目标数据源中目标数据表的传输指令，将所述目标数据表中的数据传输至所述服务端。

在一实施例中，所述传输指令包括离线传输指令；

所述响应于针对目标数据源中目标数据表的传输指令，将所述目标数据表中的数据传输至所述服务端，包括：

响应于所述离线传输指令，向所述服务器发送数据离线同步请求；其中，所述数据离线同步请求携带所述目标数据表的表标识和待传输数据，以使所述服务端依据所述表标识存储所述待传输数据。

在一实施例中，在将所述目标数据表中的数据传输至所述服务端之前，所述方法还包括：

响应于针对所述目标数据表的表构建指令，向所述服务端发起表构建请求；其中，所述表构建请求包括所述目标数据表的表标识和表结构信息，使得所述服务端依据所述表结构信息创建对应于所述目标数据表的备份数据表。

在一实施例中，所述传输指令包括实时传输指令；

所述响应于针对目标数据源中目标数据表的传输指令，将所述目标数据表中的数据传输至所述服务端，包括：

响应于所述实时传输指令，向所述服务端发送数据实时同步请求；其中，所述数据实时同步请求携带所述目标数据表的表标识和增量日志文件，使得所述服务端依据所述表标识存储所述增量日志文件中的待传输数据。

在一实施例中，所述方法还包括：

基于所述数据集成配置中的心跳周期，向所述服务端发送心跳报文；其中，所述心跳报文携带本地的工作状态信息。

在一实施例中，所述方法还包括：

依据所述目标数据表的传输任务进度生成任务日志；

响应于针对所述目标数据表的进度查询指令，输出所述任务日志中的传输任务进度。

另一方面，本申请还提供了一种数据集成方法，应用于服务端，包括：

接收客户端发送的连接请求；其中，所述连接请求携带项目标识和凭据信息；