[发明专利]一种数据处理方法及设备、存储介质在审
申请号: | 202110178800.2 | 申请日: | 2021-02-09 |
公开(公告)号: | CN113742336A | 公开(公告)日: | 2021-12-03 |
发明(设计)人: | 苏国泰 | 申请(专利权)人: | 北京沃东天骏信息技术有限公司;北京京东世纪贸易有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/23;G06F16/25;G06F16/215 |
代理公司: | 北京派特恩知识产权代理有限公司 11270 | 代理人: | 周丽莎;张颖玲 |
地址: | 100176 北京市大兴区经济技*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据处理 方法 设备 存储 介质 | ||
1.一种数据处理方法,其特征在于,应用于数据存储系统,所述数据存储系统包括:至少两个存储节点,不同的所述存储节点存储的数据相同,所述方法包括:
领导节点接收客户端的第一处理请求;所述领导节点为所述至少两个存储节点中任一存储节点;
所述领导节点创建所述第一处理请求对应的日志,并将所述日志发送至跟随节点,所述日志用于所述跟随节点对所述跟随节点中的数据进行所述第一处理请求对应的处理,所述跟随节点为所述至少两个存储节点中除所述领导节点之外的存储节点;
所述领导节点使用第一存储引擎对所述领导节点中存储的数据进行所述第一处理请求对应的处理;所述第一存储引擎为所述领导节点中的存储引擎。
2.根据权利要求1所述的方法,其特征在于,所述存储节点包括至少两个分片;不同所述存储节点中的分片的划分方式相同;不同存储节点中相同的分片构成一个分片组;其中,不同分片组的领导节点相互独立;所述数据存储系统还包括:控制节点;所述方法还包括:
所述控制节点接收所述第一处理请求,确定所述第一处理请求所属的目标分片组;
所述控制节点确定所述目标分片组的领导节点,将所述目标分片组的领导节点的节点表示发送至所述客户端,以向所述客户端指示所述第一处理请求对应的领导节点。
3.根据权利要求1所述的方法,其特征在于,所述领导节点使用第一存储引擎对所述领导节点中存储的数据进行所述第一处理请求对应的处理,包括:
所述第一存储引擎确定所述第一处理请求对应的第一过滤信息和数据处理类型;
所述第一存储引擎根据所述第一过滤信息确定第一目标数据;
所述第一存储引擎对所述第一目标数据执行所述数据处理类型对应的处理。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述跟随节点接收所述日志,调用所述第二存储引擎;所述第二存储引擎为所述跟随节点中的存储引擎;
所述第二存储引擎根据所述日志确定所述第一处理请求对应的第一过滤信息和数据处理类型;
所述第二存储引擎根据所述第一过滤信息确定第二目标数据;
所述第二存储引擎对所述第二目标数据执行所述数据处理类型对应的处理。
5.根据权利要求1所述的方法,其特征在于,所述数据存储系统还包括:控制节点,所述方法还包括:
所述控制节点接收第二处理请求;
所述控制节点根据所述第二处理请求确定第二过滤信息和节点处理类型;
所述控制节点根据所述第二过滤信息确定目标存储节点;
所述控制节点对所述目标存储节点执行所述节点处理类型对应的处理。
6.根据权利要求5所述的方法,其特征在于,当所述节点处理类型包括:分片划分,所述方法还包括:
所述控制节点根据所述第二处理请求确定目标分片数量;
所述控制节点调度所述目标存储节点中的分片数量为所述目标分片数量;所述目标存储节点包括所述至少两个存储节点。
7.根据权利要求1所述的方法,其特征在于,所述数据存储系统还包括:控制节点,所述方法还包括:
所述控制节点接收第三处理请求;
所述控制节点根据所述第三处理请求确定第三过滤信息和领导节点处理类型;
所述控制节点根据所述第三过滤信息确定目标领导节点;
所述控制节点对所述目标领导节点执行所述领导节点处理类型对应的处理。
8.根据权利要求1所述的方法,其特征在于,所述数据存储系统还包括:单点数据库;所述方法还包括:
所述领导节点接收数据同步请求;
所述领导节点根据所述数据同步请求,控制与所述单点数据库的数据的同步。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京沃东天骏信息技术有限公司;北京京东世纪贸易有限公司,未经北京沃东天骏信息技术有限公司;北京京东世纪贸易有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110178800.2/1.html,转载请声明来源钻瓜专利网。