[发明专利]数据交换控制方法及装置

说明书

本发明实施例提供一种数据交换控制方法及装置。本发明实施例通过在接收到第一信息后，从目的数据库中获取工作节点当前数据交换作业对应的已接收数据量，根据所述已接收数据量和当前数据交换作业对应的已提交数据量，对当前数据交换作业的数据提交进行控制，减少了数据提交任务的重启次数，减少了整个数据交换的交换时间，提高了数据交换系统的交换效率。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据交换控制方法及装置。

背景技术

ETL(Extract-Transform-Load，抽取-转换-加载)系统又称为数据交换系统，用于将数据从来源端经过抽取(extract)、交互转换(transform)、加载(load)至目的端的过程。为提高ETL交换的能力，支持更多的数据源接入，ETL工具会采用集群的方式进行部署，由控制节点统一管理多个工作节点，把数据交换作业分配给一个或多个工作节点进行数据交换。

工作节点根据控制节点下发的数据交换作业及其参数设置，从源数据库进行数据的抽取，经过自身加工后把数据提交到目的数据库。

当存在如下两个场景(1、数据交换系统与目的数据库所在的网络环境差或网络异常，如网络抖动或丢包，数据交换系统提交数据到目的数据库、目的数据库加载数据成功，但目的数据库返回的提交成功信息丢失；2、目的数据库本身性能较差或资源利用率非常高的情况下，长时间写入数据未成功)时，会导致数据交换系统长时间等待，浪费资源，且最终数据提交会失败，需要重新进行数据提交，造成交换效率低下。

发明内容

为克服相关技术中存在的问题，本发明提供了一种数据交换控制方法及装置，提高数据交换系统的交换效率。

根据本发明实施例的第一方面，提供一种数据交换控制方法，应用于控制节点，所述方法包括：

在接收到第一信息后，从目的数据库中获取工作节点当前数据交换作业对应的已接收数据量；所述第一信息用于指示所述工作节点在提交当前提交数据后的第一时间内未接收到所述目的数据库针对当前提交数据返回的提交成功信息；

根据所述已接收数据量和当前数据交换作业对应的已提交数据量，对当前数据交换作业的数据提交进行控制。

根据本发明实施例的第二方面，提供一种数据交换控制方法，应用于工作节点，所述方法包括：

在提交当前提交数据后的第一时间内，若未接收到目的数据库针对当前提交数据返回的提交成功信息，向控制节点发送第一信息，以便所述控制节点在接收到所述第一信息后，从目的数据库中获取所述工作节点当前数据交换作业对应的已接收数据量，并根据所述已接收数据量和当前数据交换作业对应的已提交数据量，对当前数据交换作业的数据提交进行控制。

根据本发明实施例的第三方面，提供一种数据交换控制装置，应用于控制节点，所述装置包括：

获取模块，用于在接收到第一信息后，从目的数据库中获取工作节点当前数据交换作业对应的已接收数据量；所述第一信息用于指示所述工作节点在提交当前提交数据后的第一时间内未接收到所述目的数据库针对当前提交数据返回的提交成功信息；

控制模块，用于根据所述已接收数据量和当前数据交换作业对应的已提交数据量，对当前数据交换作业的数据提交进行控制。

根据本发明实施例的第四方面，提供一种数据交换控制装置，应用于工作节点，所述装置包括：

发送模块，用于在提交当前提交数据后的第一时间内，若未接收到目的数据库针对当前提交数据返回的提交成功信息，向控制节点发送第一信息，以便所述控制节点在接收到所述第一信息后，从目的数据库中获取所述工作节点当前数据交换作业对应的已接收数据量，并根据所述已接收数据量和当前数据交换作业对应的已提交数据量，对当前数据交换作业的数据提交进行控制。