[发明专利]数据转移系统及方法

权利要求书

1.一种数据转移系统，所述数据转移系统包括至少一个主机、至少一个源数据库、至少一个目标数据库、参数配置数据库以及控制数据库；其中，所述参数配置数据库与所述至少一个主机相连接，用于存储配置参数并响应所述至少一个主机的请求而将所述配置参数提供给所述至少一个主机；所述控制数据库与所述至少一个主机相连接，用于存储控制信息并响应所述至少一个主机的请求而将所述控制信息提供给所述至少一个主机，所述至少一个源数据库分别与所述至少一个主机相连接，用于提供待转移的源数据，所述至少一个目标数据库分别与所述至少一个主机相连接，用于接收待转移的目标数据；并且，每个所述主机均包括总控模块、源数据获取服务模块、目标表更新服务模块，所述总控模块用于总体调控转移任务并装载所述配置参数；

其特征在于，所述源数据获取服务模块接受所述总控模块的调度从而获取源数据、生成目标数据、并调用目标表更新服务模块，所述源数据获取服务模块分为主体和附件两部分，所述主体部分用于读取转移任务的参数，加载附件，并调用所述转移任务对应的子处理，所述附件部分为动态函数库，所述动态函数库封装源数据获取、数据形变子处理。

2.根据权利要求1所述的数据转移系统，其特征在于，所述目标表更新服务模块接受所述源数据获取服务模块的调度而将所述目标数据插入或更新到目标表中，并且所述目标表更新服务模块分为主体和附件两部分，所述主体部分用于读取转移任务的参数，加载附件，调用所述转移任务对应的子处理，附件部分为动态函数库，所述动态函数库封装目标数据的插入和更新子处理。

3.根据权利要求1-2中任一个权利要求所述的数据转移系统，其特征在于，所述总控模块为分钟级转移总控模块或秒级转移总控模块，其中，所述分钟级转移总控模块用于完成准实时数据转移任务，所述秒级转移总控模块用于完成实时数据转移任务。

4.根据权利要求1-3中任一个权利要求所述的数据转移系统，其特征在于，所述目标表更新服务模块进一步包括批量数据库更新子模块，所述批量数据库更新子模块以如下方式进行插入和/或更新过程：

(C1)将待插入的数据分割成块，每块可存放多条所述数据；

(C2)多个数据库操作进程中的每个进程每次以排他的方式读取一块数据，然后采用批量插入或批量更新的方式将所述数据插入或更新到所述目标数据库中；

(C3)如果步骤(C2)成功，则所述进程可以继续处理其他数据块，如果步骤(C2)失败，则采用单个插入或更新的方式将所述数据插入或更新到所述目标数据库中，记录操作失败记录对应的错误日志并继续处理其他数据块。

5.根据权利要求1-4中任一个权利要求所述的数据转移系统，其特征在于，所述总控模块部署于每个所述主机上，其中，所述至少一个主机中只有一个主机具有任务调度功能。

6.根据权利要求1-5中任一个权利要求所述的数据转移系统，其特征在于，所述源数据获取服务模块包括形变处理子模块，所述形变处理子模块通过调用动态形变函数而完成对源数据的形变处理，从而生成目标数据。

7.根据权利要求1-6中任一个权利要求所述的数据转移系统，其特征在于，所述至少一个源数据库和所述至少一个目标数据库是异构的。

8.根据权利要求1-7中任一个权利要求所述的数据转移系统，其特征在于，所述参数配置数据库和所述控制数据库共存于一个数据库中。