[发明专利]数据处理方法、分布式系统、计算机系统和介质有效
申请号: | 201910706874.1 | 申请日: | 2019-07-31 |
公开(公告)号: | CN110427284B | 公开(公告)日: | 2022-02-18 |
发明(设计)人: | 武文斌;郑宝城;潘洪添;傅兵 | 申请(专利权)人: | 中国工商银行股份有限公司 |
主分类号: | G06F11/14 | 分类号: | G06F11/14 |
代理公司: | 中科专利商标代理有限责任公司 11021 | 代理人: | 杨静 |
地址: | 100140 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 分布式 系统 计算机系统 介质 | ||
1.一种分布式系统的数据处理方法,所述分布式系统包括:分布式消息队列集群、应用服务器集群、代理服务器集群和数据存储服务器集群,所述方法包括:
由所述应用服务器集群向所述代理服务器集群发送读请求数据包;
由所述代理服务器集群确定与所述读请求数据包对应且位于所述数据存储服务器集群中的第一指定分片;以及
当确定所述第一指定分片为待迁移分片时,由所述代理服务器集群将所述第一指定分片中与所述读请求数据包相关的第一数据优先迁移所述第一指定分片的迁移目标分片,以便所述代理服务器集群中的任一代理服务器节点从所述第一指定分片的迁移目标分片读取所述第一数据并将所述第一数据返回至所述应用服务器集群;
由所述应用服务器集群向所述代理服务器集群发送写请求数据包;
由所述代理服务器集群确定与所述写请求数据包对应且位于所述数据存储服务器集群中的第二指定分片;以及
当确定所述第二指定分片为待迁移分片时,由所述代理服务器集群将所述写请求数据包中的第二数据写入所述分布式消息队列集群,以便所述代理服务器集群中的任一代理服务器节点将所述第二数据从所述分布式消息队列集群迁移至所述第二指定分片的目标迁移分片。
2.根据权利要求1所述的方法,还包括:
当确定所述第一指定分片为非待迁移分片时,由所述代理服务器集群中的任一代理服务器节点从所述第一指定分片读取所述第一数据并将所述第一数据返回至所述应用服务器集群。
3.根据权利要求1所述的方法,还包括:
当确定所述第二指定分片为非待迁移分片时,由所述代理服务器集群中的任一代理服务器节点将所述第二数据写入所述第二指定分片。
4.根据权利要求1所述的方法,其中,所述数据存储服务器集群包括一个或多个节点组、以及一个或多个新增节点组,其中,每个节点组包括一个主节点和一个备节点,每个新增节点组包括一个新增主节点和一个新增备节点;所述方法还包括:在每个节点组中的主节点和备节点相连接的情况下,使得所述主节点和备节点数据读写保持同步;和/或在每个新增节点组中的新增主节点和新增备节点相连接的情况下,使得所述新增主节点和新增备节点的数据读写保持同步。
5.根据权利要求4所述的方法,其中,所述第二指定分片位于一个主节点中,所述第二指定分片的迁移目标分片位于一个新增主节点中;所述分布式系统还包括管理控制台集群,所述方法还包括:
当对所述第二指定分片进行迁移时,由所述管理控制台集群断开每个节点组中的主节点和备节点之间的连接;
由所述管理控制台集群从所述第二指定分片中随机选取一条数据并迁移至所述第二指定分片的迁移目标分片,并将所述一条数据从所述第二指定分片中删除;以及
由所述管理控制台集群重复上述操作,直至所述第二指定分片中的数据被全部删除。
6.根据权利要求5所述的方法,还包括:
在对所述第二指定分片进行迁移时,如果所述分布式系统发生故障,则由所述管理控制台集群控制所述代理服务器集群停止工作;以及
由所述管理控制台集群利用与所述第二指定分片所在的主节点对应的备节点中的数据以及所述分布式消息队列集群中的数据,对所述第二指定分片进行数据恢复。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国工商银行股份有限公司,未经中国工商银行股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910706874.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种双余度的燃油管理计算机系统
- 下一篇:一种高性能的智能卡镜像保护方法