[发明专利]一种面向分库分表中间件的全局数据日志生成方法及系统

说明书

本发明公开了一种面向分库分表中间件的全局数据日志生成方法及系统，涉及数据库领域，包括监听模块实时监听分库分表中间件中所有DB存储节点的数据日志文件并实时解析成Event；过滤模块对Event根据类型进行过滤；事务合并模块识别出哪些Event、构建事务；整理模块将属于同一个逻辑表的多个DDL事务进行归一成一个事务；排序模块按照事务开始时间先后顺序进行排序；数据日志生成模块将这些事务转化为具体的DB Event并写入为全局数据日志文件。本发明解决了传统分库分表中间件无法做到全局一致物理备份的重大缺陷问题。

技术领域

本发明涉及数据库领域，更具体地说，涉及一种面向分库分表中间件的全局数据日志生成方法及系统。

背景技术

随着云计算大数据的时代的到来，各行业应用对数据存储的要求越来越高，数据量暴涨，单表记录数暴增，在这种背景下，传统的单体数据库难于应对这种表记录数大但要求查询时间短的需求，分库分表数据库中间件应运而生。

通过分库分表中间件，数据水平拆分，将大表拆分成多个小表，存储到不同的数据节点，应用在使用数据库时无需关心数据所在的数据节点及分表信息，就像使用单体数据库一样使用分库分表数据库中间件。

但是分库分表中间件有一个缺陷，自身并不记录库表数据，即没有一个全局数据。这样有几个弊端，第一是无法获取全局一致性位点，第二是无法实现全局一致的物理备份。而数据库物理备份是实际生产应用中必备的功能之一，会严重影响数据的可靠性及可用性。

发明内容

本发明要解决的技术问题是提供一种面向分库分表中间件的全局数据日志生成方法及系统，其中日志记录了全局一致数据，通过该日志可以获取全局一致性位点，可以实现全局一致性的物理备份。通过本发明，解决了传统分库分表中间件无法做到全局一致物理备份的重大缺陷。

为了达到上述目的，本发明采取以下技术方案：

一种面向分库分表中间件的全局数据日志生成方法，包括如下步骤：

S1：实时监听分库分表中间件中所有DB存储节点的数据日志文件，实时解析成对应库表数据变化的Event；

S2：根据Event类型进行过滤；

S3：识别出哪些Event属于同一个事务，构建事务，并将这些属于相同事务的Event归入对应的事务；

S4：针对DDL类型中修改表结构的事务，首先获取所有分库分表中间件中所有的表，如果该事务中涉及的表属于中间件中的逻辑表对应的某个物理子表，则将属于同一个逻辑表的多个DDL事务进行归一成一个事务；

S5：获取事务列表，按照事务开始时间先后顺序进行排序；

S6：按照DB的数据日志格式规范，将这些事务转化为具体的DB Event并写入为全局数据日志文件。

进一步的，S2中，过滤的规则为：过滤掉非下述类型的所有Event：格式描述、更新行、删除行、写入行、DDL、BEGIN、COMMIT、ROLLBACK。

进一步的，S2中，针对更新行、删除行、写入行这几个类型的Event，获取所有分库分表中间件中所有的表，如果Event实际操作的表不属于中间件的表，则过滤该Event。

进一步的，S3中，若遇到BEGIN类型Event，则新建一个事务并从Event中解析出事务ID，将后续event中携带同一个事务ID的Event加入到同一个事务。

进一步的，S3中，若遇到COMMIT类型的Event，通过事务ID标识该事务提交结束。

进一步的，S3中，若遇到ROLLBACK类型的Event，通过事务ID表示该事务回滚，需要去掉该事务。

一种面向分库分表中间件的全局数据日志生成系统，包括：