[发明专利]一种基于不同数据库的数据复制方法及系统

说明书

技术领域

本发明涉及数据处理领域，尤其涉及一种基于不同数据库的数据复制方法及系统。

背景技术

支付清算等金融系统是一个复杂、包括异构数据库的业务系统，经常有从一个数据库批量转移一些表的数据到另一个或多个数据库的需求，针对这样的数据转移需求，一般都是开发一个应用模块实现，基于系统的开发环境和开发语言，如基于java的系统，采用jdbc API访问数据库；如基于C/C++的系统，采用各数据库引擎提供的原生API访问数据库。每出现新的数据转移需求，就需要增加一个这样的应用模块。这种模式，存在重复劳动，开发效率低下，代码质量参差不齐的问题。

发明内容

本发明实施例提供一种基于不同数据的数据复制方法及系统，用以解决不同数据库之间进行数据复制时存在工作效率低的问题。

本发明方法包括一种基于不同数据库的数据复制方法，该方法包括：

接收用户的配置指令，生成关于将源数据库中的数据复制到目标数据库的配置文件，其中，所述源数据库和所述目标数据库为单数据库或者为分布式数据库，所述配置文件至少包括所述源数据库和所述目标数据库的数据库信息，以及筛选条件；

解析所述配置文件，根据对所述筛选条件的解析结果，利用目标开发语言生成数据库查询指令；

利用所述数据库查询指令从所述源数据库中读取所述目标数据，并将所述目标数据复制到所述目标数据库，所述目标数据为从所述源数据库中筛选出的符合所述筛选条件的原始数据集合。

基于同样的发明构思，本发明实施例进一步地提供一种基于不同数据库的数据复制系统，该系统包括：

收发单元，用于接收用户的配置指令；

生成单元，用于生成关于将源数据库中的数据复制到目标数据库的配置文件，其中，所述源数据库和所述目标数据库为单数据库或者为分布式数据库，所述配置文件至少包括所述源数据库和所述目标数据库的数据库信息，以及筛选条件；

解析单元，用于解析所述配置文件；

所述生成单元，还用于根据对所述筛选条件的解析结果，利用目标开发语言生成数据库查询指令；

复制单元，用于利用所述数据库查询指令从所述源数据库中读取所述目标数据，并将所述目标数据复制到所述目标数据库，所述目标数据为从所述源数据库中筛选出的符合所述筛选条件的原始数据集合。

本发明实施例通过提供一种数据复制系统，用户可以在这个系统上配置自身的数据拷贝需求，然后系统就会自动生成配置文件，进而触发后续的数据复制过程，具体地，数据复制系统解析配置文件，可以根据解析结果找到源数据库和目标数据库，然后利用统一的目标开发语言生成数据库查询指令，从员数据库中获取目标数据复制到目标数据库中，可见，这一方法因为提供的统一的数据库开发语言，所以可以适用于各种引擎的数据库，而且数据复制系统可以适用于源数据库和目标数据库是单库或者分布式数据库的各种场景，如一对一，一对多、多对一的场景，因此，很好的满足了个性化定制需求，具有高可用性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a～图1d为本发明实施例提供的数据复制场景示意图；

图2为本发明实施例提供的一种基于不同数据库的数据复制方法流程示意图；

图3为本发明实施例提供的数据库的数据复制方法的流程示意图；

图4为本发明实施例提供的数据库的多线程复制方法的实现示意图；

图5为本发明实施例提供的一种基于不同数据库的数据复制系统架构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。