[发明专利]数据处理方法及系统在审
申请号: | 202111063056.8 | 申请日: | 2021-09-10 |
公开(公告)号: | CN113886350A | 公开(公告)日: | 2022-01-04 |
发明(设计)人: | 朱元;吴剑 | 申请(专利权)人: | 阿里云计算有限公司;阿里巴巴(中国)有限公司 |
主分类号: | G06F16/18 | 分类号: | G06F16/18;G06F16/182;G06F16/23;G06F3/06 |
代理公司: | 北京智信禾专利代理有限公司 11637 | 代理人: | 吴肖肖 |
地址: | 310024 浙江省*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 系统 | ||
1.一种数据处理方法,应用于数据处理系统,所述系统包括数据写入节点、数据读取节点、以及数据存储节点,其中,
所述数据写入节点将接收的目标数据存储至所述数据存储节点,并基于所述目标数据更新所述数据存储节点中的日志数据;
所述数据读取节点在满足预设读取需求的情况下,获取所述数据存储节点中的更新日志数据,并基于所述数据存储节点中的更新日志数据对存储的初始数据进行更新。
2.根据权利要求1所述的数据处理方法,所述基于所述目标数据更新所述数据存储节点中的日志数据,包括:
所述数据写入节点将所述目标数据对应的索引信息存储至所述数据存储节点,以增加所述数据存储节点中的日志数据。
3.根据权利要求1所述的数据处理方法,所述数据读取节点在满足预设读取需求的情况下,获取所述数据存储节点中的更新日志数据,包括:
所述数据读取节点在满足预设时间间隔的情况下,获取所述数据存储节点中的更新日志数据。
4.根据权利要求1所述的数据处理方法,所述数据读取节点在满足预设读取需求的情况下,获取所述数据存储节点中的更新日志数据,包括:
所述数据读取节点在接收到数据读取请求的情况下,基于所述数据读取请求获取所述数据存储节点中的更新日志数据。
5.根据权利要求1所述的数据处理方法,所述获取所述数据存储节点中的更新日志数据,包括:
所述数据读取节点确定历史日志数据的标识以及所述数据存储节点中的当前日志数据的标识,在所述当前日志数据的标识大于所述历史日志数据的标识的情况下,将所述当前日志数据确定为更新日志数据,并获取所述数据存储节点中的更新日志数据,其中,所述历史日志数据为所述更新日志数据之前的日志数据。
6.根据权利要求1所述的数据处理方法,所述基于所述数据存储节点中的更新日志数据对存储的初始数据进行更新,包括:
所述数据读取节点从所述数据存储节点获取与所述更新日志数据对应的所述目标数据,基于所述目标数据对存储的初始数据进行更新。
7.根据权利要求2所述的数据处理方法,所述数据写入节点将所述目标数据对应的索引信息存储至所述数据存储节点之后,还包括:
所述数据存储节点接收所述数据写入节点存储的所述目标数据对应的索引信息,并确定日志文件中的剩余存储容量,其中,所述日志文件中存储有所述日志数据;
所述数据存储节点在所述剩余存储容量满足预设容量阈值的情况下,将所述索引信息以覆盖的方式存储至所述日志文件中。
8.根据权利要求2所述的数据处理方法,所述基于所述目标数据更新所述数据存储节点中的日志数据之前,还包括:
所述数据存储节点接收日志文件创建请求,并基于所述日志文件创建请求创建满足预设大小阈值的日志文件。
9.一种数据处理系统,包括数据写入节点、数据读取节点以及数据存储节点,其中,
所述数据写入节点,被配置为将接收的目标数据存储至所述数据存储节点,并基于所述目标数据更新所述数据存储节点中的日志数据;
所述数据读取节点,被配置为在满足预设读取需求的情况下,获取所述数据存储节点中的更新日志数据,并基于所述数据存储节点中的更新日志数据对存储的初始数据进行更新。
10.一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至8任意一项所述数据处理方法的步骤。
11.一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至8任意一项所述数据处理方法的步骤。
12.一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行权利要求1至8任意一项所述数据处理方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里云计算有限公司;阿里巴巴(中国)有限公司,未经阿里云计算有限公司;阿里巴巴(中国)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111063056.8/1.html,转载请声明来源钻瓜专利网。