[发明专利]基于环形高速缓冲区的异构数据交换方法及装置

说明书

发明提供的一种基于环形高速缓冲区的异构数据交换方法及装置，对目标数据库为关系型数据库，通过一个转换表达式让常用数据库的数据类型之间建立适配关系，直接将数据写入目标数据库，对目标数据库为GP数据库，在源数据库与目标数据库之间增加了ftp过程，通过ftp命令把数据交换文件导入GP数据库服务器，再使用jdbc的copy命令将数据文件导入GP数据库。本发明能够显著提高数据交换的速率能够解决数关系型数据库交换性能不高，GP数据库数据交换慢的问题。

技术领域

本发明涉及一种异构数据交换方法，尤其是指一种基于环形高速缓冲区的异构数据交换方法。

背景技术

由于历史原因，政务信息系统建设采用小步加快步走的方式，导致职能部门间的信息系统的数据难以实现共通共融，且每个信息系统数据库的管理和运行标准不一致，导致在需要共享各系统的数据时往往难以调出和实用。为了满足各级政府履行职能的需要，实现跨部门业务协同，提高各级政府管理效率和公共服务水平，需要实现不同部门异构应用系统间信息交换与共享。

现有异构信息系统的数据交换技术，基本都是通过接口程序或者使用简单的ETL工具实现，在关系型数据库的数据交换过程中，数据交换性能并不高，GP数据库的数据交换过程尤其慢，并不能满足大数据时代，异构数据库之间的异构数据交换同步的要求；现有异构信息系统的数据交换技术并不能实现多张表交换或者整库拷贝，每次只能交换一张表的数据，数据的来源也难以追踪，不能保证数据在传输过程中的传输安全、数据落地时的存储安全，以及落地后的访问安全。

发明内容

本发明所要解决的技术问题是：针对关系型数据库交换性能不高，交换速率低。

为了解决上述技术问题，本发明采用的技术方案为：一种基于环形高速缓冲区的异构数据交换方法，它包括预设置流程、初始化流程、数据交换流程；

所述预设置流程包括：

收集常用数据库的数据类型的步骤；

收集的数据类型与java.sql.Types的数据类型，通过转换表达式建立数据交换适配关系的步骤；

所述初始化流程包括：

获取目标数据库的数据库类型；

判断目标数据库的类型，如果为关系型数据库，顺序执行步骤S31、S32；

所述数据交换流程包括：数据读取子流程与数据写入子流程；

所述数据读取子流程包括：

从源数据库获取交换数据的步骤；

将交换数据写入高速缓冲区的步骤；

所述数据写入子流程包括以下步骤：

S31)、从高速缓冲区读取交换数据，并根据数据交换适配关系配制PreparedStatement的set数据类型；

S32)、将交换数据写入关系型数据库。

优选地，初始化流程中，如果获取到目标数据库的数据库类型为GP数据库，则执行步骤S33-S35；

S33)、从高速缓冲区读取交换数据，将交换数据形成数据交换文件写入本地；

S34)、通过ftp命令把生成的数据交换文件上传到GP数据库服务器；

S35)、使用jdbc的copy命令把上传来的数据交换文件导入GP数据库。

优选地，所述初始化流程还包括：

锁定数据交换增量区间的步骤；

确定连接源数据库或者目标数据库的步骤；