[发明专利]一种数据交换方法、装置、设备及存储介质

说明书

本发明公开了一种数据交换方法，应用于数据交换系统的第一工作节点，数据交换系统的控制节点分别与每个工作节点通信连接，该方法包括：在要对第一数据源进行第一交换作业时，确定预先获得的控制节点同步的异常信息库中是否存在第一数据源的异常登记信息；如果是，则对第一数据源进行异常检测，并在对第一数据源进行异常检测过程中，缩短预设的异常检测超时时间和/或减少预设的异常检测重试次数；基于相应的检测结果，确定终止或运行第一交换作业。应用本发明实施例所提供的技术方案，可以减少对第一数据源相关交换作业的整体等待时间，提高数据交换效率。本发明还公开了一种数据交换装置、设备及存储介质，具有相应技术效果。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据交换调度方法、装置、设备及存储介质。

背景技术

在信息化时代，企业的各种业务数据越来越多。为了更好的利用数据，企业多是通过ETL技术将数据转换为信息、知识，或者将数据从业务系统转移到数据仓库，对数据的有效利用已经成为提高企业核心竞争力的主要瓶颈。

ETL，即英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取(extract)、交互转换(transform)、加载(load)至目的端的过程。

为提高数据交换能力，支持更多数据源接入，会采用集群的方式部署利用ETL技术的数据交换系统，如图1所示，数据交换系统由控制节点统一管理多个工作节点，进行交换作业的调度，将交换作业分配给1个或多个工作节点进行数据交换。工作节点可以横向扩展，进行具体的数据交换工作，连接源端数据库和目的端数据库，基于交换作业周期性地对数据进行抽取、交互转换和加载。

在现有技术中，控制节点主要进行交换作业的分配和调度，工作节点基于交换作业进行交换链路的建立和数据交换。当交换作业所对应的数据源出现异常不能响应工作节点的请求时，工作节点会进行多次尝试，使得交换作业运行时间较长。其他工作节点根据作业调度仍会继续对该数据源进行交换作业的运行。从而导致每个工作节点针对于该数据源的交换作业均需要较长时间，而每个工作节点的作业运行资源是有限的，其他交换作业将无法被快速处理，数据交换效率较低。

发明内容

本发明的目的是提供一种数据交换方法、装置、设备及存储介质，以提高数据交换效率。

为解决上述技术问题，本发明提供如下技术方案：

一种数据交换方法，应用于数据交换系统的第一工作节点，所述数据交换系统包括控制节点和多个工作节点，所述控制节点分别与每个工作节点通信连接，所述第一工作节点为所述数据交换系统中的任意一个工作节点，所述方法包括：

在要对第一数据源进行第一交换作业时，确定预先获得的所述控制节点同步的异常信息库中是否存在所述第一数据源的异常登记信息；

如果是，则对所述第一数据源进行异常检测，并在对所述第一数据源进行异常检测过程中，缩短预设的异常检测超时时间和/或减少预设的异常检测重试次数；

基于相应的检测结果，确定终止或运行所述第一交换作业。

在本发明的一种具体实施方式中，在确定所述异常信息库中存在所述第一数据源的异常登记信息时，在所述对所述第一数据源进行异常检测之前，还包括：

确定所述异常信息库中记录的所述第一数据源的异常登记信息的异常级别是否为故障级别；

如果是，则将所述第一交换作业置为故障暂停状态，直至接收到针对所述第一数据源的故障恢复信息时，执行所述对所述第一数据源进行异常检测的步骤；

所述故障级别为：所述控制节点在所述第一数据源的异常登记记录次数达到M次或者所述第一数据源的异常登记节点达到N个时更新的异常级别，M和N均为正整数。

在本发明的一种具体实施方式中，还包括：