[发明专利]基于日志管理包的增量数据实时同步装置和方法

说明书

技术领域

本发明涉及数据集成技术领域，具体而言，涉及基于日志管理包的增量数据实时同步装置和方法。

背景技术

随着以计算机软/硬件为代表的科学技术的突飞猛进，以商业智能为代表的信息化技术也得到了迅猛发展。目前，管理和运营信息化已经是实现一个企业跨越式发展的关键战略之一，现代化的企业对自己的业务数据进行商业智能分析的要求越来越高；企业的高层管理者们也越来越清醒的认识到那些蕴藏在海量数据里的有价值信息对提高企业的科学决策和管理水平是多么重要，拍下脑袋就制定政策的时代将一去不复返！而在这个市场竞争越来越激烈的时代里，要想领先其他的企业一步制定出科学、精确的战略决策，这就要依赖具有完整商业智能(Business intelligence，简称为BI)解决方案的分布式系统。

从系统架构的角度来看一个完整的BI系统一般主要分为两部分：位于底层的数据集成(Data Integration，简称DI)子系统和基于集成起来的数据进行智能的数据挖掘、分析和展示的子系统。其中，对分析至关重要的数据质量(包括准确性，一致性，实时性等)则由DI子系统来保证。为了保证整个企业业务系统运行的高效和稳定，在系统架构时都会设计多个数据源分别承担不同的职责，例如：设置独立的OLTP数据源以应对交易型业务处理请求，同时部署一个或者多个OLAP数据源以应对智能的数据分析型请求；同时部署DI子系统来保证从OLTP数据源到OLAP数据源之间数据同步更新。要实现多数据源之间的同步更新，目前主要有以下几种做法：

1.采用定时(如每天，每周或者每月)完全复制的技术：在指定的时间点把用户定义的数据库表里的数据从OLTP端复制到OLAP端。这种技术的缺点是：首先，它不能反应实时的数据，不符合新型商业智能的需求；其次，随着企业数据量越来越大，每次复制需要的时间也越来越长，最终会使得企业不堪重负。

2.采用特定数据库的特定技术，比如Oracle的物化视图/物化日志技术。这种复制技术只能限制在同种类型的数据库之间，对于目前商业智能在OLAP数据源造型倾向于开源数据源或者性能比传统的行式数据存储更优秀的列式数据存储来说无能为力。

3.使用数据库的触发器机制：这种技术对原系统侵入性比较高，会对业务系统的性能造成很大影响。

4.采用实时数据同步技术：以Oracle的GoldenGate为代表；采用直接对Oracle数据库管理系统在运行时产生的日志进行分析而获得最新的数据更新并同步到远端的同构或者异构数据源。这种方法要求对数据库日志的存储结构有深入的了解(日志里存储的数据结构并未公开)，实现难度极大；而且不具有通用性：一旦日志里的存储数据结构发生变化，则需要重新实现日志分析模块。

发明内容

本发明所要解决的技术问题在于，提供一种基于日志管理包的增量数据同步技术，可以在短时间内将发生在一端数据源上的事务(已经提交完成的事务)应用到目标端数据源上。

根据本发明的一个方面，提供了一种基于日志管理包的增量数据实时同步装置，包括：第一同步单元，将第一数据源中的初始数据复制到第二数据源中；第二同步单元，使用所述第一数据源的日志管理包获取在所述第一数据源执行的数据操作语句，将所述数据操作语句应用于所述第二数据源，以实现所述第一数据源和所述第二数据源之间的增量数据的实时同步，其中，所述日志管理包包含对日志进行分析所需的存储过程，从所述日志中获取数据操作信息，所述数据操作信息包括数据操作语句的标识、数据操作语句的操作对象和数据操作语句的所属事务，所述日志记录了对所述第一数据源进行的所有操作。利用日志管理包的存储过程可以对日志进行分析，并通过该日志管理包可以查看日志的分析结果，存储过程类似于一个函数或一个批处理文件，调用存储过程后可以返回结果。在进行增量数据同步之前，需进行基准同步，即第一同步单元做的工作，这是为了保证第一数据源和第二数据源之间数据的完全同步。