[发明专利]数据处理方法及系统在审
申请号: | 202111063056.8 | 申请日: | 2021-09-10 |
公开(公告)号: | CN113886350A | 公开(公告)日: | 2022-01-04 |
发明(设计)人: | 朱元;吴剑 | 申请(专利权)人: | 阿里云计算有限公司;阿里巴巴(中国)有限公司 |
主分类号: | G06F16/18 | 分类号: | G06F16/18;G06F16/182;G06F16/23;G06F3/06 |
代理公司: | 北京智信禾专利代理有限公司 11637 | 代理人: | 吴肖肖 |
地址: | 310024 浙江省*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 系统 | ||
本说明书提供数据处理方法及系统,其中所述数据处理方法,应用于数据处理系统,所述系统包括数据写入节点、数据读取节点、以及数据存储节点,其中,所述数据写入节点将接收的目标数据存储至所述数据存储节点,并基于所述目标数据更新所述数据存储节点中的日志数据;所述数据读取节点在满足预设读取需求的情况下,获取所述数据存储节点中的更新日志数据,并基于所述数据存储节点中的更新日志数据对存储的初始数据进行更新。
技术领域
本说明书涉及数据处理技术领域,特别涉及一种数据处理方法。本说明书同时涉及一种数据处理系统,一种计算设备,一种计算机可读存储介质,以及一种计算机程序。
背景技术
随着互联网技术的不断发展,目前计算机应用在进行超大规模数据存储的情况下,需要使用分布式集群做文件存储。在分布式集群中,通过分布式文件系统实现对文件的创建、删除、移动、读、写等操作;并且,不同的分布式文件系统之间相互共享存储,任意一个分布式文件系统的数据修改能够让其他文件系统通过读取磁盘看到。
但是,每个分布式文件系统的本地内存中可能存在缓存,在任意一个分布式文件系统对于缓存数据进行修改时,由于其他分布式文件系统的本地内存中的缓存数据仍可用,因此,无法让其他分布式文件系统感知到需要从磁盘中读取修改后的缓存数据以更新自身的缓存数据,从而导致其他分布式文件系统可能对外服务时使用过期的缓存数据,造成分布式文件系统之间的缓存数据不一致的问题。
发明内容
有鉴于此,本说明书实施例提供了一种数据处理方法。本说明书同时涉及一种数据处理系统,一种计算设备,一种计算机可读存储介质,以及一种计算机程序,以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面,提供了一种数据处理方法,应用于数据处理系统,所述系统包括数据写入节点、数据读取节点、以及数据存储节点,其中,
所述数据写入节点将接收的目标数据存储至所述数据存储节点,并基于所述目标数据更新所述数据存储节点中的日志数据;
所述数据读取节点在满足预设读取需求的情况下,获取所述数据存储节点中的更新日志数据,并基于所述数据存储节点中的更新日志数据对存储的初始数据进行更新。
根据本说明书实施例的第二方面,提供了一种数据处理系统,包括数据写入节点、数据读取节点以及数据存储节点,其中,
所述数据写入节点,被配置为将接收的目标数据存储至所述数据存储节点,并基于所述目标数据更新所述数据存储节点中的日志数据;
所述数据读取节点,被配置为在满足预设读取需求的情况下,获取所述数据存储节点中的更新日志数据,并基于所述数据存储节点中的更新日志数据对存储的初始数据进行更新。
根据本说明书实施例的第三方面,提供了一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现任意所述数据处理方法的步骤。
根据本说明书实施例的第四方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现任意所述数据处理方法的步骤。
根据本说明书实施例的第五方面,提供了一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行任意所述数据处理方法的步骤。
本说明书提供的数据处理方法,应用于数据处理系统,所述系统包括数据写入节点、数据读取节点、以及数据存储节点,其中,所述数据写入节点将接收的目标数据存储至所述数据存储节点,并基于所述目标数据更新所述数据存储节点中的日志数据;所述数据读取节点在满足预设读取需求的情况下,获取所述数据存储节点中的更新日志数据,并基于所述数据存储节点中的更新日志数据对存储的初始数据进行更新。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里云计算有限公司;阿里巴巴(中国)有限公司,未经阿里云计算有限公司;阿里巴巴(中国)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111063056.8/2.html,转载请声明来源钻瓜专利网。