[发明专利]一种数据读取方法、装置及数据读取系统在审

专利信息
申请号: 202110203556.0 申请日: 2021-02-23
公开(公告)号: CN112948064A 公开(公告)日: 2021-06-11
发明(设计)人: 王天宇 申请(专利权)人: 北京金山云网络技术有限公司
主分类号: G06F9/46 分类号: G06F9/46;G06F9/50;G06F11/14
代理公司: 北京柏杉松知识产权代理事务所(普通合伙) 11413 代理人: 孙翠贤;高莺然
地址: 100085 北京市海淀*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 数据 读取 方法 装置 系统
【说明书】:

发明实施例提供了数据读取方法、装置及数据读取系统,应用于分布式数据处理技术领域。该方法应用于分布式系统中的事务管理器,该方法包括:当接收到针对多条行记录的读请求时,获取全局读时间戳;生成多个携带有全局读时间戳的待下发请求;针对每一待下发请求,向该待下发请求所对应分片集群中的目标从节点,下发该待下发请求,以使得目标从节点查找该待下发请求对应的行记录的、写事务提交时间戳不大于全局读时间戳的版本数据,并向事务管理器反馈所查找到的版本数据;基于各个目标从节点反馈的版本数据,确定读请求对应的响应结果。通过本方案,可以减小分布式系统中分片集群的主节点的负载压力。

技术领域

本发明涉及分布式数据处理技术领域,特别是涉及一种数据读取方法、装置及数据读取系统。

背景技术

在金融级的业务中,分布式读一致性是分布式系统中基础的业务功能。例如在转账业务场景下,账户A和账户B之间发生转账行为,在进行账户数据读取时,要么均读取到账户A和账户B转账之前的账户数据,要么均读取到账户A和账户B转账之后的账户数据。

其中,存在分布式读一致性要求的读请求通常为针对多条行记录的读请求。相关技术中,在获得针对多条行记录的读请求时,通常采用走主库的形式确保分布式读一致性,即通过分布式系统中各分片集群的主节点处理读请求。由于相关技术只能由主节点处理读请求,使得主节点的负载压力较大。

发明内容

本发明实施例的目的在于提供一种数据读取方法、装置及数据读取系统,以减小分布式系统的分片集群中的主节点的负载压力。

第一方面,本发明实施例提供了一种数据读取方法,应用于分布式系统中的事务管理器,包括:

当接收到针对多条行记录的读请求时,获取全局读时间戳,其中,所述全局读时间戳为:所述分布式系统的各分片集群对应的时间戳中的最小值,每一分片集群对应的时间戳为:该分片集群包含的各从节点的最大提交时间戳中值最小的时间戳,每一从节点的最大提交时间戳为:该从节点中已备份行记录的写事务提交时间戳中值最大的时间戳;

生成多个携带有所述全局读时间戳的待下发请求;其中,每一待下发请求对应一个分片集群,且用于读取所述多条行记录中的、位于所对应分片集群的行记录;

针对每一待下发请求,向该待下发请求所对应分片集群中的目标从节点,下发该待下发请求,以使得所述目标从节点查找该待下发请求对应的行记录的、写事务提交时间戳不大于所述全局读时间戳的版本数据,并向所述事务管理器反馈所查找到的版本数据;

基于各个目标从节点反馈的版本数据,确定所述读请求对应的响应结果。

可选地,所述获取全局读时间戳,包括:

向所述分布式系统中的用于分配读时间戳的全局事务服务器,发送用于请求全局读时间戳的数据请求,以使所述全局事务服务器在接收到所述数据请求后,向所述事务管理器反馈所述全局读时间戳;

接收所述全局事务服务器反馈的全局读时间戳。

可选地,在针对每一待下发请求,向该待下发请求所对应分片集群中的目标从节点,下发该待下发请求之前,所述方法还包括:

获取从节点状态信息,其中,所述从节点状态信息用于指示所述分布式系统的各分片集群中处于正常运行状态的从节点;

针对所述多条行记录所位于的每一分片集群,基于所述从节点状态信息,从该分片集群的多个从节点中,筛选处于正常运行状态的目标从节点。

第二方面,本发明实施例提供了一种数据读取方法,应用于分布式系统的分片集群中的从节点,包括:

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京金山云网络技术有限公司,未经北京金山云网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202110203556.0/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top