[发明专利]基于日志管理包的增量数据实时同步装置和方法

权利要求书

1.一种基于日志管理包的增量数据实时同步装置，其特征在于，包括：

第一同步单元，将第一数据源中的初始数据复制到第二数据源中；

第二同步单元，使用所述第一数据源的日志管理包获取在所述第一数据源执行的数据操作语句，将所述数据操作语句应用于所述第二数据源，以实现所述第一数据源和所述第二数据源之间的增量数据的实时同步，其中，所述日志管理包包含对日志进行分析所需的存储过程，从所述日志中获取数据操作信息，所述数据操作信息包括数据操作语句的标识、数据操作语句的操作对象和数据操作语句的所属事务，所述日志记录了对所述第一数据源进行的所有操作。

2.根据权利要求1所述的基于日志管理包的增量数据实时同步装置，其特征在于，所述第二同步单元包括：

提取模块，使用所述日志管理包从所述第一数据源提取出相应的数据操作语句并对所述数据操作语句进行处理后打包成多个事务，根据所述数据操作语句的标识对每个所述事务中的数据操作语句进行排序以及对多个所述事务进行排序；

处理模块，将所述提取模块提取的所述事务中的数据操作语句进行过滤和转换处理后发送至应用模块；

所述应用模块，将多个所述事务按顺序应用于所述第二数据源。

3.根据权利要求2所述的基于日志管理包的增量数据实时同步装置，其特征在于，还包括：更新单元，在所述应用模块将所述事务应用于所述第二数据源时，更新所述第二数据源的同步点记录表，所述同步点记录表为将所述第一数据源的增量数据同步至所述第二数据源的操作记录，一个操作记录作为一个同步点。

4.根据权利要求3所述的基于日志管理包的增量数据实时同步装置，其特征在于，所述提取模块将所述分析结果中的最新数据操作语句的标识作为上限和将所述同步点记录表中的最新同步点作为下限，调用所述第一数据源的日志管理包提取出所述上限和所述下限之间的所有数据操作语句。

5.根据权利要求1至4中任一项所述的基于日志管理包的增量数据实时同步装置，其特征在于，所述第一数据源为OLTP数据源，所述第二数据源为OLAP数据源。

6.一种基于日志管理包的增量数据实时同步方法，其特征在于，包括：

步骤802，将第一数据源中的初始数据复制到第二数据源中；

步骤804，使用所述第一数据源的日志管理包获取在所述第一数据源执行的数据操作语句，将所述数据操作语句应用于所述第二数据源，以实现所述第一数据源和所述第二数据源之间的增量数据的实时同步，其中，所述日志管理包包含对日志进行分析所需的存储过程，从所述日志中获取数据操作信息，所述数据操作信息包括数据操作语句的标识、数据操作语句的操作对象和数据操作语句的所属事务，所述日志记录了对所述第一数据源进行的所有操作。

7.根据权利要求6所述的基于日志管理包的增量数据实时同步方法，其特征在于，所述步骤804还包括：

步骤8042，使用所述日志管理包从所述第一数据源提取出相应的数据操作语句并对所述数据操作语句进行处理后打包成多个事务，根据所述数据操作语句的标识对每个所述事务中的数据操作语句进行排序以及对多个所述事务进行排序；

步骤8044，将所述事务中的数据操作语句进行过滤和转换处理后发送至应用模块；

步骤8046，将多个所述事务按顺序应用于所述第二数据源。

8.根据权利要求7所述的基于日志管理包的增量数据实时同步方法，其特征在于，在将所述事务应用于所述第二数据源时，更新所述第二数据源的同步点记录表，所述同步点记录表为将所述第一数据源的增量数据同步至所述第二数据源的操作记录，一个操作记录作为一个同步点。

9.根据权利要求8所述的基于日志管理包的增量数据实时同步方法，其特征在于，在所述步骤8042中，将所述分析结果中的最新数据操作语句的标识作为上限和将所述同步点记录表中的最新同步点作为下限，调用所述第一数据源的日志管理包提取出所述上限和所述下限之间的所有数据操作语句。

10.根据权利要求6至9中任一项所述的基于日志管理包的增量数据实时同步方法，其特征在于，所述第一数据源为OLTP数据源，所述第二数据源为OLAP数据源。