[发明专利]数据同步调度方法和装置

说明书

技术领域

本发明涉及对大数据量的数据进行智能实时复制和调度技术，尤其涉及数据同步调度方法和装置。

背景技术

随电信企业业务量迅速增加、业务种类的日益复杂，电信应用系统的爆炸式发展，企业必须管理不断增长的信息流量。如何实现业务数据的共享并进行批处理、接近实时的数据交付，如何高速从同构或异构环境抽取并处理数据，成为企业各系统间数据同步与共享的关键所在。

对于超大数据量的实时数据采集和分发来说，如果能够根据进程所在系统的资源占用情况，在实时数据采集和分发的基础上动态增加或减少相关进程数，则一方面可以保障生产系统的持续正常运行，另一方面可以大大提高资源的利用率并满足数据实时交付和实时共享的要求。

发明内容

有鉴于此，本发明的目的在于提出数据同步调度方法和装置，在不影响生产系统持续正常运行的情况下，提升数据采集和分发的效率，进而提高数据实时交付和实时共享的能力。

为了解决上述问题，本发明提出数据同步调度方法，包括以下步骤：

生成系统资源的最大可利用值；

获取数据日志生成速度以及数据采集进程对日志的处理速度，结合历史采集效率信息，动态生成数据采集进程组中备用进程的配置数目和每个数据采集进程对应的数据量配置信息；

获取数据传输进程和数据投递进程的列队处理速度，结合历史队列处理效率信息，动态生成数据传输进程组和数据投递进程组中备用进程的配置数目、以及每个数据传输进程和数据投递进程对应的数据量配置信息；

收集采集进程组、传输进程组以及投递进程组中需要唤醒的备用进程数，根据系统资源的最大可利用值和进程的资源开销系数，决定唤醒和/或停用的备用进程，即时唤醒和/或停用备用进程。

本发明还提出数据同步调度系统，包括：

系统资源监控模块，部署在源数据库服务器和目标数据库服务器上，用于生成系统资源的最大可利用值；

数据库日志监控分析模块，部署在源数据库服务器上，用于获取数据日志生成速度以及数据采集进程对日志的处理速度，结合历史采集效率信息，动态生成数据采集进程组中备用进程的配置数目和每个数据采集进程对应的数据量配置信息；

队列监控分析模块，部署在源数据库服务器和目标数据库服务器上，用于获取数据传输进程和数据投递进程的列队处理速度，结合历史队列处理效率信息，动态生成数据传输进程组和数据投递进程组中备用进程的配置数目、以及每个数据传输进程和数据投递进程对应的数据量配置信息；

智能监控分析库，部署在与源数据库服务器和目标数据库服务器正常通信的服务器上，用于收集采集进程组、传输进程组以及投递进程组中需要唤醒的备用进程数；

进程管理模块，部署在与源数据库服务器和目标数据库服务器正常通信的服务器上，用于根据系统资源的最大可利用值和进程的资源开销系数，决定唤醒和/或停用的备用进程，向进程调度模块发送请求；

进程调度模块，部署在与源数据库服务器和目标数据库服务器正常通信的服务器上，用于根据进程管理模块的指示，即时唤醒和/或停用备用进程。

基于上述技术方案，本发明在基于日志的数据采集机制的基础上，根据系统资源的利用情况动态地进行进程调配，在不影响生产系统持续正常运行的情况下，提升数据采集和分发的效率，进而提高数据实时交付和实时共享能力。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明数据同步调度方法流程示意图。

图2为本发明数据同步调度装置示意图。

图3为本发明数据同步调度装置实施例架构示意图。

具体实施方式

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

如图1所示为数据同步调度方法实施的流程示意图。本发明通过动态调整数据采集进程、数据传输进程和数据投递进程的配置个数，以及动态调整每个进程需要处理的数据量，来提升数据复制效率。本实施例的流程包括以下步骤：

在步骤101，通过系统资源监控模块周期性自动获取数据采集进程、数据传输进程以及数据投递进程所在系统的CPU、内存以及IO等系统资源的利用率。

在步骤102，根据CPU、内存以及IO等的利用率分析系统资源的利用趋势。