[发明专利]一种分布式系统的缓存优化方法、系统、设备和存储介质在审
申请号: | 202110732350.7 | 申请日: | 2021-06-29 |
公开(公告)号: | CN113590560A | 公开(公告)日: | 2021-11-02 |
发明(设计)人: | 苏志恒 | 申请(专利权)人: | 济南浪潮数据技术有限公司 |
主分类号: | G06F16/172 | 分类号: | G06F16/172;G06F16/176 |
代理公司: | 济南诚智商标专利事务所有限公司 37105 | 代理人: | 黄晓燕 |
地址: | 250000 山东省济南市中国(山东)自由贸易*** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 分布式 系统 缓存 优化 方法 设备 存储 介质 | ||
1.一种分布式系统的缓存优化方法,其特征在于,包括以下步骤:
运行分布式系统和客户端,从内存中申请内存空间缓存客户端数据,并启动缓存管理线程管理所述客户端数据;
在客户端申请文件读写权限和读写缓存权限,申请成功后通过读写缓存的方式进行文件读写,计算读写范围对应的文件对象;在所述文件对象加锁成功后进行读写操作,操作完成后进行解锁;
当缓存中待下刷数据达到阈值,缓存管理线程申请缓存全局互斥锁,互斥锁添加成功后,对文件对象加对象锁并进行对象范围内的数据合并;合并成功后下刷数据到存储介质,直到下刷完成后释放互斥锁。
2.根据权利要求1所述的一种分布式系统的缓存优化方法,其特征在于,所述在客户端申请文件读写权限和读写缓存权限,申请成功后通过读写缓存的方式进行文件读写的过程为:
当客户端读写文件时,发送消息到元数据服务器端申请读写权限和读写缓存权限,如果申请成功,则通过读写缓存的方式进行文件读写;
如果未申请成功,则通过直读存储介质或直写存储介质的方式进行数据读写操作。
3.根据权利要求2所述的一种分布式系统的缓存优化方法,其特征在于,所述发送消息到元数据服务器端申请读写权限和读写缓存权限包括:
在读文件时,申请读权限和读缓存权限,如果申请成功,则将读取过的数据放入缓存中增加读性能;
在写文件时,申请写权限和写缓存权限,如果申请成功,则将待写入的数据写入缓存。
4.根据权利要求1所述的一种分布式系统的缓存优化方法,其特征在于,所述计算读写范围对应的文件对象的过程为:按照读写的起始位置和数据长度通过算法计算出该范围对应的文件对象。
5.根据权利要求1所述的一种分布式系统的缓存优化方法,其特征在于,所述在所述文件对象加锁成功后进行操作,操作完成后进行解锁的过程为:
对所述文件对象申请加锁,如果其他线程持有所述文件对象的锁,则等待;
在加锁成功后,增加所述文件对象的读写缓存权限的引用计数,在所述引用计数增加成功后,对所述文件对象进行读写操作,操作完成后,对所述文件对象进行解锁;
其他持有所述所述文件对象锁的线程申请到锁之后进行读写操作。
6.根据权利要求1所述的一种分布式系统的缓存优化方法,其特征在于,所述当缓存中待下刷数据达到阈值包括:当缓存中的待下刷数据达到缓存总量的一半或者存留在缓存中的时间超过时间阈值。
7.根据权利要求6所述的一种分布式系统的缓存优化方法,其特征在于,所述合并成功后下刷数据到存储介质,直到下刷完成后释放互斥锁包括:合并成功后下刷数据到存储介质,数据下刷成功后释放对象锁并对所述文件对象读写缓存权限的引用计数进行减一操作,直至缓存中所有要下刷的文件对象数据下刷到存储介质完成后释放全局互斥锁。
8.一种分布式系统的缓存优化系统,其特征在于,包括预备模块、第一操作模块和第二操作模块;
所述预备模块用于运行分布式系统和客户端,从内存中申请内存空间缓存客户端数据,并启动缓存管理线程管理所述客户端数据;
所述第一操作模块用于在客户端申请文件读写权限和读写缓存权限,申请成功后通过读写缓存的方式进行文件读写,计算读写范围对应的文件对象;在所述文件对象加锁成功后进行读写操作,操作完成后进行解锁;
所述第二操作模块用于当缓存中待下刷数据达到阈值,缓存管理线程申请缓存全局互斥锁,互斥锁添加成功后,对文件对象加对象锁并进行对象范围内的数据合并;合并成功后下刷数据到存储介质,直到下刷完成后释放互斥锁。
9.一种设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至7任意一项所述的方法步骤。
10.一种可读存储介质,其特征在于,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述的方法步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于济南浪潮数据技术有限公司,未经济南浪潮数据技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110732350.7/1.html,转载请声明来源钻瓜专利网。