[发明专利]一种内存数据库与物理数据库间的数据同步方法及系统

说明书

技术领域

本发明涉及一种内存数据库与物理数据库间的数据同步方法及系统。

背景技术

随着社会信息化程度的逐步深入，数据库在各行各业中的应用越来越广，尤其是通讯领域，业务的数据量非常大，性能要求越来越高，并且对数据的安全性有着很高的要求。内存数据库具有速度快、性能高的优点，所以越来越多的应用系统都自行开发了基于内存运算的专用存储程序，将常用的数据缓存在内存中，加快访问速度。但是，内存数据库的安全性不足，当异常宕机或者掉电的情况下，内存中的数据就会丢失，这样一来，就需要后台有一个对应的物理数据库来作数据备份；另外，很多应用系统的门户或者界面等外围程序需要通过物理数据库来访问内存中的数据表，所以必须有一种把内存数据库中的数据变化及时更新到物理数据库的同步机制。具体而言，当内存数据库中的数据被修改后，应用程序通过一种方法，自动将内存数据库中的数据更新同步到物理数据库，这样既能满足门户或者界面的查询需求，又能保证数据的安全备份，从而保证整个应用系统的安全和稳定运行。然而，该同步问题一直没有得到解决，很多外围程序无法实现既有的功能，数据的安全性也无法得到保证。

发明内容

本发明所要解决的技术问题是提供一种内存数据库与物理数据库之间的数据同步方法，以及实现该方法的数据同步系统。

为解决上述技术问题，本发明是通过以下技术方案实现的：

一种数据同步系统，包括内存数据库和目标物理数据库，还包括数据同步装置，且所述内存数据库中包括同步日志生成模块；

所述内存数据库，在每次进行数据修改操作时，调用所述同步日志生成模块，生成用以记录数据修改操作信息的同步日志文件，并保存该同步日志文件；

所述数据同步装置，用于通过文件传输协议定时获取所述内存数据库新生成的同步日志文件，对该同步日志文件进行解析，将其转换成符合目标物理数据库的语法规则的基本SQL语句，与目标物理数据库建立连接后执行所述SQL语句。

其中，所述数据同步装置包括：

同步日志文件传输模块，用于定时从所述内存数据库获取新生成的同步日志文件，并将其存放于本地的指定目录中；

同步日志文件解析模块，用于对所述指定目录中的同步日志文件逐行解析，将其转换成符合目标物理数据库的语法规则的基本SQL语句；

同步日志文件重做模块，用于建立和维护物理数据库连接池，通过调用目标物理数据库的驱动程序与目标物理数据库建立连接后执行所述基本SQL语句。

其中，所述数据同步装置还包括日志管理模块，用于定时检查所述本地的指定目录中保存的同步日志文件，删除其中已经解析处理的同步日志文件。

一种内存数据库与物理数据库间的数据同步方法，包括：

内存数据库每进行数据修改操作时，按照既定规范生成用以记录数据修改操作信息的同步日志文件，并将该文件保存于内存数据库所在主机；

数据同步装置定时从所述内存数据库所在主机获取新生成的同步日志文件，将其保存于本地的指定目录中，然后对该文件进行解析，将其转换成符合目标物理数据库的语法规则的基本SQL语句，之后与目标物理数据库建立连接，执行所述基本SQL语句。

上述方法还包括：所述数据同步装置定时检查本地的指定目录中所保存的同步日志文件，删除其中已经解析处理的同步日志文件。

其中，所述同步日志文件的内容包括：日志序列号、日志长度、本日志是否需要同步标识、表的名称、表名称长度以及数据修改信息。

其中，所述同步日志文件为二进制格式。

本发明解决了内存数据库与物理数据之间的数据同步问题和安全问题，具有以下有益效果：

1)内存数据库程序只需要将数据的更改操作信息写入同步日志文件，后续的数据同步主要步骤(同步日志文件的传输、解析、SQL重做等)都可以在另外的主机上进行，不会过多地增加内存数据库所在主机的系统负担，将对该应用主机的影响降低到最小程度，且保证了同步的实时性；

2)由于同步日志文件是在嵌入在内存数据库中生成的，属于底层的实现，因此，不管是谁向内存数据库发起的数据修改操作或者通过什么途径发起数据修改操作，同步日志文件中记录的都是原始的二进制数据码流，实现了数据库类型无关性和操作平台无关性，使得后续的文件传输和解析方便自如；

3)可以灵活定制需要增量同步的表、操作或者数据信息，有效地控制了同步的数据量，加快了同步速度；

4)同步日志文件使用标准的文件传输协议，可在不同设备间转移，因此与操作系统和数据库类型无关，可以在多种操作系统平台上使用，扩展性好。