[发明专利]一种面向分库分表中间件的全局数据日志生成方法及系统

权利要求书

1.一种面向分库分表中间件的全局数据日志生成方法，其特征在于，包括如下步骤：

S1：实时监听分库分表中间件中所有DB存储节点的数据日志文件，实时解析成对应库表数据变化的Event；

S2：根据Event类型进行过滤；

S3：识别出哪些Event属于同一个事务，构建事务，并将这些属于相同事务的Event归入对应的事务；

S4：针对DDL类型中修改表结构的事务，首先获取所有分库分表中间件中所有的表，如果该事务中涉及的表属于中间件中的逻辑表对应的某个物理子表，则将属于同一个逻辑表的多个DDL事务进行归一成一个事务；

S5：获取事务列表，按照事务开始时间先后顺序进行排序；

S6：按照DB的数据日志格式规范，将这些事务转化为具体的DB Event并写入为全局数据日志文件。

2.根据权利要求1所述方法，其特征在于，S2中，过滤的规则为：过滤掉非下述类型的所有Event：格式描述、更新行、删除行、写入行、DDL、BEGIN、COMMIT、ROLLBACK。

3.根据权利要求2所述方法，其特征在于，S2中，针对更新行、删除行、写入行这几个类型的Event，获取所有分库分表中间件中所有的表，如果Event实际操作的表不属于中间件的表，则过滤该Event。

4.根据权利要求1所述方法，其特征在于，S3中，若遇到BEGIN类型Event，则新建一个事务并从Event中解析出事务ID，将后续event中携带同一个事务ID的Event加入到同一个事务。

5.根据权利要求4所述方法，其特征在于，S3中，若遇到COMMIT类型的Event，通过事务ID标识该事务提交结束。

6.根据权利要求4所述方法，其特征在于，S3中，若遇到ROLLBACK类型的Event，通过事务ID表示该事务回滚，需要去掉该事务。

7.一种面向分库分表中间件的全局数据日志生成系统，其特征在于，包括：

监听模块：用于实时监听分库分表中间件中所有DB存储节点的数据日志文件，实时解析成对应库表数据变化的Event；

过滤模块：用于对Event根据类型进行过滤；

事务合并模块：用于识别出哪些Event属于同一个事务、用于构建事务，以及用于并将这些属于相同事务的Event归入对应的事务；

整理模块，用于：针对DDL类型中修改表结构的事务，首先获取所有分库分表中间件中所有的表，如果该事务中涉及的表属于中间件中的逻辑表对应的某个物理子表，则将属于同一个逻辑表的多个DDL事务进行归一成一个事务；

排序模块：用于获取到事务列表，并按照事务开始时间先后顺序进行排序；

数据日志生成模块：用于按照DB的数据日志格式规范，将这些事务转化为具体的DBEvent并写入为全局数据日志文件。

8.根据权利要求7所述系统，其特征在于，过滤模块过滤的规则为，过滤掉类型非下述类型的所有Event：格式描述、更新行、删除行、写入行、DDL、BEGIN、COMMIT、ROLLBACK。

9.根据权利要求8所述系统，其特征在于，过滤过程中，针对更新行、删除行、写入行这几个类型的Event，获取所有分库分表中间件中所有的表，如果Event实际操作的表不属于中间件的表，则过滤该Event。

10.根据权利要求7所述系统，其特征在于，事务合并模块按下述方式工作：若遇到BEGIN类型Event，则新建一个事务并从Event中解析出事务ID，将后续event中携带同一个事务ID的Event加入到同一个事务；若遇到COMMIT类型的Event，通过事务ID标识该事务提交结束；若遇到ROLLBACK类型的Event，通过事务ID表示该事务回滚，需要去掉该事务。