[发明专利]数据处理方法、分布式协调系统、计算机设备及存储介质在审
申请号: | 202210142169.5 | 申请日: | 2022-02-16 |
公开(公告)号: | CN114546720A | 公开(公告)日: | 2022-05-27 |
发明(设计)人: | 娄江国 | 申请(专利权)人: | 平安国际智慧城市科技股份有限公司 |
主分类号: | G06F11/14 | 分类号: | G06F11/14;G06F11/30;G06F16/23;G06F16/27 |
代理公司: | 深圳中一联合知识产权代理有限公司 44414 | 代理人: | 丁月蓉 |
地址: | 518000 广东省深圳市前海深港合*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 分布式 协调 系统 计算机 设备 存储 介质 | ||
本申请适用于分布式协调技术领域,提供一种数据处理方法、分布式协调系统、计算机设备及存储介质,其中方法包括:获取用户端发送的数据操作请求,确定与所述数据操作请求对应的数据操作类型及数据操作对象;基于分布式协调系统中的路由信息,确定与数据操作对象对应的目标数据分片所在的第i组服务节点,并从所述第i组服务节点中确定目标响应节点;向所述目标响应节点发送与所述数据操作请求对应的数据处理指令。该方案能降低成本,提升总体的性能和负载。
技术领域
本申请属于分布式协调技术领域,尤其涉及一种数据处理方法、分布式协调系统、计算机设备及存储介质。
背景技术
业内现有的分布式协调系统,通过对不同服务节点的监控回调机制,提供分布式协调的功能。其中,由于服务节点集群需要被用于运行多个应用,因此不同服务节点之间需要保持数据的完全一致性,实现主机与备机的区分及数据的同步备份。基于这种架构,每个节点实例必须存储所有的数据。
对于数据量比较大的情况,则必须使用高配的机器,一方面成本很高,另一方面存在单点容量和负载的限制。
发明内容
本申请实施例提供了一种数据处理方法、分布式协调系统、计算机设备及存储介质,以解决现有技术中分布式协调系统在面对较大的数据量时,服务节点成本变高且存在单点容量和负载限制的问题。
本申请实施例的第一方面提供了一种数据处理方法,应用于分布式协调系统中,所述分布式协调系统包括路由节点及与所述路由节点连接的N个服务节点,所述路由节点存储有路由信息,所述路由信息包括从所述N个服务节点中划分出的M组服务节点中每一服务节点的角色信息及M个数据分片在所述M组服务节点中的存储信息,N为大于1的整数,M为大于1的整数,M小于或等于N,其中,所述数据处理方法包括:
获取用户端发送的数据操作请求,确定与所述数据操作请求对应的数据操作类型及数据操作对象;
基于所述路由信息,确定与所述数据操作对象对应的目标数据分片所在的第i组服务节点,并从所述第i组服务节点中确定目标响应节点,所述目标响应节点具备与所述数据操作类型相匹配的节点角色,i∈M;
向所述目标响应节点发送与所述数据操作请求对应的数据处理指令。
可选地,所述基于所述路由信息,确定与所述数据操作对象对应的目标数据分片所在的第i组服务节点,包括:
基于所述路由信息中所述M个数据分片在所述M组服务节点中的存储信息,将所述M个数据分片中包含所述数据操作对象的数据分片作为所述目标数据分片,并提取所述目标数据分片在所述M组服务节点中的存储信息;
基于所述目标数据分片在所述M组服务节点中的存储信息,确定所述目标数据分片所在的第i组服务节点。
可选地,每组所述服务节点中自协商选取出第一角色节点及与所述第一角色节点具有数据同步关系的其他角色节点;所述数据操作类型包括数据修改操作或数据删除操作;所述从所述第i组服务节点中确定目标响应节点,包括:
将所述第i组服务节点中的所述第一角色节点确定为所述目标响应节点;
对应地,所述向所述目标响应节点发送与所述数据操作请求对应的数据处理指令之后,还包括:
获取所述第一角色节点发送的数据处理结果信息;所述数据处理结果信息为所述第一角色节点依照所述数据处理指令对本地存储的所述目标数据分片执行与所述数据操作类型对应的数据处理操作,并触发数据同步指令至所述其他角色节点进行数据同步后发送;
基于所述数据处理结果信息,发送反馈信息至所述用户端。
可选地,所述获取所述第一角色节点发送的数据处理结果信息之后,还包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安国际智慧城市科技股份有限公司,未经平安国际智慧城市科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210142169.5/2.html,转载请声明来源钻瓜专利网。