[发明专利]一种分布式系统的缓存优化方法、系统、设备和存储介质

说明书

本发明提出了一种分布式系统的缓存优化方法、系统、设备和存储介质，该方法包括运行分布式系统和客户端，从内存中申请内存空间缓存客户端数据，并启动缓存管理线程管理客户端；申请文件权限，申请成功后通过读写缓存的方式文件读写，计算读写范围对应的文件对象；在文件对象加锁成功后进行读写操作，操作完成后解锁；当缓存中待下刷数据达到阈值，申请缓存全局互斥锁，添加成功后，对文件对象加对象锁并进行对象范围内的数据合并；合并成功后下刷数据到存储介质，直到下刷完成后释放互斥锁。基于该方法还提出了缓存优化系统、设备和存储介质，通过把缓存中全局互斥锁细粒度化到对象锁，增加了对象间的并发性，提高了集群的吞吐率和读写性能。

技术领域

本发明属于分布式系统存储技术领域，特别涉及一种分布式系统的缓存优化方法、系统、设备和存储介质。

背景技术

分布式系统中，基于内存的客户端缓存实现缓存读写功能，现有技术的做法为：客户端在启动后从内存中分配固定大小的容量作为客户端读写缓存，客户端在读写文件前需要向元数据服务器申请相应的读写权限及读写缓存权限，即读文件时申请读权限和读缓存权限，写文件时申请写权限和写缓存权限。申请到读写缓存的权限后，可以把读写数据放入到客户端缓存；客户端在读写文件时按照文件对象切分成数个等份的大小，以增加文件的读写并发性；每次读写文件时按照读写的范围计算出是哪个文件对象，在客户端缓存中读写该对象，客户端缓存为确保在多线程并发的情况下数据的有效性，增加了一个全局互斥锁，缓存中的任何对象的读写都需要先获得这把锁，即先加锁。

在使用写回模式时，缓存刷新线程在写回脏数据到存储介质之前，也会先申请加锁，加锁成功后，即持有互斥锁，这时其他文件对缓存中对象的读写都会因为获取锁失败而阻塞，使读写延迟增加，限制了吞吐率；把文件切分成文件对象进行读写操作初衷是为增加读写并发性，提升读写性能，但缓存中的锁机制的串行执行影响了读写性能，违背了切分文件对象的初衷，即使是单个文件读写也会受到缓存互斥锁的影响，缓存中互斥锁的锁粒度过粗严重影响了读写性能和缓存吞吐率和利用率。

发明内容

为了解决上述技术问题，本发明提出了一种分布式系统的缓存优化方法、系统、设备和存储介质，把客户端缓存中的全局互斥锁细粒度化到以文件对象为粒度的对象锁，极大提高了集群的吞吐率和读写性能。

为实现上述目的，本发明采用以下技术方案：

一种分布式系统的缓存优化方法，包括以下步骤：

运行分布式系统和客户端，从内存中申请内存空间缓存客户端数据，并启动缓存管理线程管理所述客户端数据；

在客户端申请文件读写权限和读写缓存权限，申请成功后通过读写缓存的方式进行文件读写，计算读写范围对应的文件对象；在所述文件对象加锁成功后进行读写操作，操作完成后进行解锁；

当缓存中待下刷数据达到阈值，缓存管理线程申请缓存全局互斥锁，互斥锁添加成功后，对文件对象加对象锁并进行对象范围内的数据合并；合并成功后下刷数据到存储介质，直到下刷完成后释放互斥锁。

进一步的，所述在客户端申请文件读写权限和读写缓存权限，申请成功后通过读写缓存的方式进行文件读写的过程为：

当客户端读写文件时，发送消息到元数据服务器端申请读写权限和读写缓存权限，如果申请成功，则通过读写缓存的方式进行文件读写；

如果未申请成功，则通过直读存储介质或直写存储介质的方式进行数据读写操作。

进一步的，所述发送消息到元数据服务器端申请读写权限和读写缓存权限包括：

在读文件时，申请读权限和读缓存权限，如果申请成功，则将读取过的数据放入缓存中增加读性能；

在写文件时，申请写权限和写缓存权限，如果申请成功，则将待写入的数据写入缓存。