[发明专利]基于binlog的元数据管理方法和用于提供元数据的方法及装置有效
申请号: | 201410403789.5 | 申请日: | 2014-08-15 |
公开(公告)号: | CN105447014B | 公开(公告)日: | 2019-03-15 |
发明(设计)人: | 曾文旌 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F16/242 | 分类号: | G06F16/242 |
代理公司: | 北京清源汇知识产权代理事务所(特殊普通合伙) 11644 | 代理人: | 冯德魁 |
地址: | 英属开曼群岛大开*** | 国省代码: | 开曼群岛;KY |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 binlog 数据管理 方法 用于 提供 数据 装置 | ||
1.一种基于binlog的元数据管理方法,其特征在于,包括:
从MySQL主数据库获取元数据,作为基准元数据;
以上述获取基准元数据的时间点为起点,从所述MySQL主数据库获取二进制日志binlog数据;在上述获取binlog数据的过程中,针对所述binlog数据中的每个日志事件执行下述操作:
判断所述日志事件记录的是否为DDL操作;
若是,存储与所述DDL操作相关的信息。
2.根据权利要求1所述的基于binlog的元数据管理方法,其特征在于,与所述DDL操作相关的信息包括:所述DDL操作对应的DDL语句,以及所述DDL操作在所述binlog数据中对应的时间戳信息。
3.根据权利要求2所述的基于binlog的元数据管理方法,其特征在于,包括:
压缩所述基准元数据,并将压缩后的基准元数据以文件的形式存储在本地文件系统中。
4.根据权利要求3所述的基于binlog的元数据管理方法,其特征在于,在执行所述压缩所述基准元数据的步骤前,执行下述操作:
将已获取的基准元数据导入本地MySQL数据库中;
相应的,如果所述判断所述日志事件记录的是否为DDL操作的结果为“是”,则在存储与所述DDL操作相关的信息之前,执行下述操作:
在本地MySQL数据库中执行所述DDL操作。
5.根据权利要求4所述的基于binlog的元数据管理方法,其特征在于,所述存储与DDL操作相关的信息是指,将与DDL操作相关的DDL语句和时间戳信息存储在本地MySQL数据库中的一个用于存储元数据相关信息的特定数据表中;
相应的,所述方法还包括:
将所述获取基准元数据的时间点和存储基准元数据所使用的文件名称,存储在本地MySQL数据库中的所述特定数据表中。
6.根据权利要求5所述的基于binlog的元数据管理方法,其特征在于,包括:
按照预先设定的时间间隔,定期执行下述操作:
从本地MySQL数据库获取对应于MySQL主数据库的元数据;
压缩所述元数据,并将压缩后的元数据以文件的形式存储在本地文件系统中,作为与本次执行获取操作的时间点对应的基准元数据;
将获取上述基准元数据的时间点和存储所述基准元数据的文件名称,存储在本地MySQL数据库中的所述特定数据表中。
7.根据权利要求6所述的基于binlog的元数据管理方法,其特征在于,包括:
按照预先设定的时间间隔,从本地文件系统中删除存储时间超过预先设定期限的基准元数据文件,并从本地MySQL数据库中删除与被删除的文件对应的DDL操作的相关信息。
8.一种基于binlog的元数据管理装置,其特征在于,包括:
基准元数据获取单元,用于从MySQL主数据库获取元数据,作为基准元数据;
DDL操作信息获取单元,用于以上述获取基准元数据的时间点为起点,获取并存储MySQL主数据库执行的DDL操作信息;
所述DDL操作信息获取单元包括:
binlog数据获取子单元,用于以上述获取基准元数据的时间点为起点,从所述MySQL主数据库获取二进制日志binlog数据;
DDL信息处理子单元,用于针对binlog数据中的每个日志事件,判断该日志事件记录的是否为DDL操作;若是,存储与所述DDL操作相关的信息。
9.根据权利要求8所述的基于binlog的元数据管理装置,其特征在于,所述DDL操作信息获取单元存储的DDL信息包括:所述DDL操作对应的DDL语句,以及所述DDL操作在所述binlog数据中对应的时间戳信息。
10.根据权利要求9所述的基于binlog的元数据管理装置,其特征在于,包括:
数据压缩单元,用于压缩所述基准元数据,并将压缩后的基准元数据以文件的形式存储在本地文件系统中。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201410403789.5/1.html,转载请声明来源钻瓜专利网。