[发明专利]数据装载方法、装置、设备及介质

说明书

本公开实施例涉及一种数据装载方法、装置、设备及介质，其中该方法包括：响应于多个候选数据库表的装载请求，获取中央处理器中满足预设装载条件的至少一个目标内核；判断至少一个目标内核是否满足预设的多通道装载构建条件；若满足多通道装载构建条件，则构建与至少一个目标内核对应的多个装载通道；根据多个装载通道将多个候选数据库表装载至预设数据库。由此，采用多通道的方式并行装载数据库表数据，提升了数据库表数据的装载效率，且基于系统负载动态调整多通道，在最大限度利用硬件资源的前提下还能够为其他应用预留资源，另外，以数据库表为粒度进行并行装载，进一步提升了数据装载效率。

技术领域

本公开涉及数据同步技术领域，尤其涉及一种基于动态负载的多通道并行数据初始化装载的方法、装置、设备及介质。

背景技术

存量数据的初始化装载，是在利用数据同步工具进行数据实时同步时的一个重要阶段。存量数据的初始化装载主要包括：表结构的初始化装载和存量数据的初始化装载。其中，表数据的初始化装载阶段的主要性能指标为数据的最大吞吐量。

提升数据最大吞吐量的方法在于充分的利用硬件资源，在尽可能短的时间内将存量数据从源端数据库装载至目标端数据库。传统的提升方法主要是采用多线程或者多进程的方式，将需要装载的表分配至固定的线程或者进程中进行装载。此类方式的缺点在于：1、无法确定初始的线程或者进程数量，容易使系统空闲，或者超负荷；2、基于固定方式的分配，可能导致某个线程或者进程变成最长路径，当其他线程或者进程都已经装载完成后，某个线程中还堆积着很多待装载的表。

发明内容

为了解决上述技术问题，本公开提供了一种基于动态负载的多通道并行数据初始化装载的方法、装置、设备及介质，采用多通道的方式并行装在数据库表数据，提升了数据库表数据的装载效率，且基于系统负载动态调整多通道，在最大限度利用硬件资源的前提下还能够为其他应用预留资源，另外，以数据库表为粒度进行并行装载，进一步提升了装载效率。

本公开实施例提供了一种数据装载方法，包括以下步骤：响应于多个候选数据库表的装载请求，获取中央处理器中满足预设装载条件的至少一个目标内核；判断所述至少一个目标内核是否满足预设的多通道装载构建条件；若满足所述多通道装载构建条件，则构建与所述至少一个目标内核对应的多个装载通道；根据所述多个装载通道将所述多个候选数据库表装载至预设数据库。

在本公开的一个实施例中，所述获取中央处理器中满足预设装载条件的至少一个目标内核，包括：获取所述中央处理器中每个候选内核的第一空闲资源值；确定所述第一空闲资源值大于预设资源阈值的候选内核为所述目标内核。

在本公开的一个实施例中，所述构建与所述至少一个目标内核对应的多个装载通道，包括：获取每个所述装载通道的资源占用值，并获取每个所述目标内核的第二空闲资源值；计算所述资源占用值和所述第二空闲资源值的比值，根据所述比值确定通道数量；在所述至少一个目标内核中构建与所述通道数量对应的多组装载线程以实现所述多个装载通道的构建，其中，每组所述装载线程包括读取线程和写出线程。

在本公开的一个实施例中，所述根据所述多个装载通道将所述多个候选数据库表装载至预设数据库包括：确定当前周期内所述多个候选数据库表中未被装载的至少一个目标数据库表；检测所述当前周期内所述多个装载通道的当前状态；若获取到所述当前状态为空闲状态的至少一个目标装载通道，则判断所述至少一个目标装载通道的第一数量，是否大于等于所述至少一个目标数据库表的第二数量；若所述第一数量大于等于所述第二数量，则确定与所述至少一个目标数据库表对应的至少一个所述目标装载通道，其中，各个所述目标数据库表对应的目标装载通道不同；根据对应的目标装载通道将对应的目标数据库表装载至预设数据库。

在本公开的一个实施例中，还包括：若所述第一数量小于所述第二数量，则在所述至少一个目标数据库表中确定所述第一数量的目标数据库表；根据所述至少一个目标装载通道，将所述第一数量的目标数据库表存储至所述预设数据库，其中，每个所述目标装载通道存储的目标数据库表不同。