[发明专利]历史态数据处理方法、装置、计算机设备及存储介质有效
申请号: | 201910170575.0 | 申请日: | 2019-03-07 |
公开(公告)号: | CN109902127B | 公开(公告)日: | 2020-12-25 |
发明(设计)人: | 李海翔 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F16/27 | 分类号: | G06F16/27;G06F16/21 |
代理公司: | 北京三高永信知识产权代理有限责任公司 11138 | 代理人: | 张所明 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 历史 数据处理 方法 装置 计算机 设备 存储 介质 | ||
1.一种历史态数据处理方法,其特征在于,所述方法包括:
当单机数据库系统的任一第一设备满足数据转移条件时,从所述单机数据库系统中,获取待复制的历史态数据,所述历史态数据为当前活跃事务列表中最小的事务之前的事务生成的数据;
基于所述历史态数据,将副本数据复制至集群数据库系统,所述副本数据包括所述历史态数据、所述历史态数据的元信息以及数据关系信息,所述数据关系信息用于表示所述元信息与所述历史态数据对应的当前态数据所属表之间的关系;
在复制成功时,允许所述单机数据库系统响应于数据库引擎的删除操作,删除所述单机数据库系统中存储的所述历史态数据和所述元信息。
2.根据权利要求1所述的方法,其特征在于,所述基于所述历史态数据,将副本数据复制至集群数据库系统包括:
以数据块为单位,对所述历史态数据进行复制,得到所述历史态数据的副本数据;
对所述历史态数据的元信息进行复制,得到所述元信息的副本数据;
对所述数据关系信息进行复制,得到所述数据关系信息的副本数据;
将所述历史态数据的副本数据、所述元信息的副本数据和所述数据关系信息的副本数据作为所述副本数据复制至所述集群数据库系统。
3.根据权利要求1所述的方法,其特征在于,所述从所述单机数据库系统中,获取待复制的历史态数据包括:
在存储所述历史态数据的数据表中,以每个数据块中的主键标识作为索引键值,构建跳表结构,所述主键标识为数据块中的最小事务标识或最小事务创建时间戳,所述跳表结构包括不连续的索引键值;
基于所述跳表结构,定位到所述历史态数据,获取所述历史态数据。
4.根据权利要求3所述的方法,其特征在于,所述基于所述跳表结构,定位到所述历史态数据,获取所述历史态数据包括:
根据所述历史态数据的主键区间,在所述跳表结构中查找不大于所述主键区间的区间头的最大索引键值;
根据所述历史态数据的主键区间,在所述跳表结构中查找不小于所述主键区间的区间尾的最小索引键值;
基于所述最大索引键值和所述最小索引键值构成的区间,确定与所述区间相对应的至少一个数据块;
从所述至少一个数据块中,获取所述历史态数据。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括下述任一项或至少两项的组合:
在复制成功时,允许所述单机数据库系统进行脱机操作;
当所述单机数据库系统与所述集群数据库系统处于未联机状态,则基于所述未联机状态进行告警;
在向所述集群数据库系统复制的过程中,发送所述历史态数据的数据摘要,所述数据摘要用于指示所述集群数据库系统在接收到所述历史态数据后进行数据校验;
所述单机数据库系统和所述集群数据库系统各自保存有所述历史态数据的数据摘要,当比对确定两方的数据摘要不同时进行告警。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括下述任一项或至少两项的组合:
所述数据转移条件包括:系统时间到达预设时间,或,所述单机数据库系统中的历史态数据占所述单机数据库系统所在存储空间的比例大于比例阈值;
在所述集群数据库系统中允许存储多份所述副本数据;
所述集群数据库系统存储有至少一个单机数据库系统的副本数据,对于任一副本数据,所述集群数据库系统允许以只读事务的方式进行查询。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
通过重做日志记录复制过程中的操作信息;
当复制失败时,如果所述集群数据库系统中已存储完整的所述副本数据,所述集群数据库系统向所述单机数据库系统重新发送复制成功响应;
当复制失败时,如果所述集群数据库系统中未存储完整的所述副本数据,根据所述操作信息对所述集群数据库系统中的残留副本数据进行删除。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910170575.0/1.html,转载请声明来源钻瓜专利网。