[发明专利]一种基于对象分布式文件系统的存储缓存方法

说明书

技术领域

本发明涉及分布式文件系统的存储缓存实现方法，尤其涉及在异构存储环境下基于对象的分布式文件系统的存储缓存实现方法。

背景技术

现今信息社会中越来越多的分布式存储文件系统的存储容量已上升到PB级别，由于基于对象的存储系统在进行海量存储时表现出更好的性能而越来越受到存储领域的关注。它实现了数据对象的元数据和数据内容的分离管理，其系统架构主要由客户机、元数据服务器和基于对象的基于对象存储设备组成。元数据服务器负责数据对象的元数据管理和其他存储管理，基于对象的存储设备负责底层数据实际块的部署和存取，它维持着数据实际块和数据对象的逻辑联系，并向上层客户机提供数据对象的操作接口。

在基于对象存储系统中，存储在基于对象存储设备中的数据内容往往是存储系统中信息量最大的部分。所以，对于数据内容的网络传输速率快慢直接影响存储系统的网络开销及其I/O性能.在用户访问模式中，会出现访问频率较高的热点对象，此时，提高热点对象数据内容的访问速率，对提高文件系统的性能非常重要.而在真实生产环境中，大多存储集群是异构存储集群，其中每台设备的性能是存在性能差异的，带宽限制、主存大小、CPU主频和磁盘读写速度的不同都是造成这个现象的原因，而最终这些差异都会导致传输延迟的不同.如果数据访问中的热点对象(特别是大文件)被部署到传输延迟较高的设备中，那么客户机在对热点对象进行操作时，就会连接传输延迟较高的设备，造成网络传输开销过高和整体系统I/O性能低下的结果。

另一方面，为了提高整体系统的I/O性能，网络缓存技术是主要手段之一。现在主流的网络缓存技术主要有客户机缓存、近客户机缓存和存储缓存.客户机缓存把缓存部署在客户机本地磁盘中，这样可以避免用户二次访问时的网络传输开销。客户机缓存把缓存部署在离客户机较近或者与客户机传输速率很高的代理服务器上，这样客户机二次访问时直接连接到高传输速率的代理服务器上，可以避免客户机与服务器之间的网络传输开销.而存储缓存是把热点对象部署在存储集群中一些传输速率较高的代理服务器上，提高集群中对热点对象操作时的传输效率。存储缓存能够对全体用户而非部分用户的数据访问特征进行分析，根据访问频率来缓存全体用户访问的热点对象，从而提高这些热点对象的网络传输速率。

发明内容

针对在异构存储环境中基于对象分布式文件系统所产生的高频访问热点对象连接传输延迟较高设备的网络传输开销过高和整体I/O性能低下的问题，本发明结合对象存储系统的数据访问方式及其特点，提出一种存储缓存的实现方法，它把热点文件部署到传输延迟比较低的设备中进行缓存。

本发明以基于对象存储系统的架构为基础，由客户端、元数据服务器集群和存储集群构成。在存储集群中，把一些传输速率较高的存储设备部署为代理服务器，对数据对象进行缓存。存储集群中的监视器通过维护设备信息表来维持整体存储集群的部署调度。设备信息表记录着每台设备的存储信息，包括存储容量、所在分组、存储的数据对象的i节点列表、目录信息和该设备的传输延迟等等。设备的信息表更新通过时间戳机制来完成，监视器按照最新时间戳的设备信息表来调度存储集群。

基于以上存储缓存的系统架构，本发明还包含了存储集群服务器中代理服务器和普通服务器中高频访问热点对象的置换策略。其核心思想是把近段时间内用户访问频率较高的数据对象放入缓存，并且还要考虑到代理服务器的存储容量空间的有限性，即在代理服务器剩余空间不足的情况下替入的对象占用空间应该比替出的对象要小。考虑每个数据对象的两个参数：对象的访问频率（以下简称f）和对象的大小（以下简称s），本发明针对以上原因的基于数据对象访问频率的置换策略，其步骤如下：

A在存储集群监视器中将缓存中的数据对象按照访问频率f降序排列.进入步骤B.

B假设缓存中有n个数据对象，考虑数据对象m是否需要置换.若f_n>f_m则表示m访问频率较低，不能置换.若f_n<f_m，则进入步骤C.

C在缓存的数据对象序列中找到一个最大值a，以使对象a到n的占用空间的总和大于m的占用空间，若f_a>f_m，则表示m对象占用空间过大，缓存内同等容量的对象的访问频率比m高，所以不能置换.若f_a<f_m则表示m比缓存内同等容量的对象访问频率高，所以把对象a到n替出，替进m.