[发明专利]客户端起源信息关联感知的元数据预取方法及系统

说明书

本发明公开了一种客户端起源信息关联感知的元数据预取方法及系统，所述方法包括：在客户端的内核空间实时收集起源信息日志记录，从内核空间传输到用户空间；在客户端选取一部分已收集的起源信息日志记录，作为元数据的关联性训练数据，计算元数据两两之间的关联分数，得到最初的强关联列表；当客户端发生文件访问请求，且文件的元数据不在客户端本地的元数据缓存中时，在客户端的强关联列表中，预取多个强关联的元数据，从元数据服务器下载相应的元数据，更新客户端本地的元数据缓存；根据新增的起源信息日志记录，定时更新元数据强关联列表。本发明提高了客户端的元数据缓存命中率，减少对元数据服务器的访问次数，从而提高元数据服务的性能。

技术领域

本发明涉及一种元数据预取方法及系统，尤其是一种客户端起源信息关联感知的元数据预取方法及系统，属于起源信息收集与元数据关联性的挖掘技术以及元数据预取技术领域。

背景技术

随着数据的不断增长，高性能计算环境下的存储系统的数据量变得越来越庞大，数据存储量达到了TB级别乃至PB级别。例如，Facebook已经拥有了200M个数据对象，占据了21PB的存储空间。为了提高存储系统的I/O性能，现今大多数分布式文件系统通常将文件数据和元数据分离，即数据流与控制流分离，从而获得更高的系统扩展性和I/O并发性。元数据单独存储在一个或多个元数据服务器中，为客户端提供元数据服务。随着客户端的数量的增加，客户端对元数据服务器的访问将会越来越频繁，元数据服务器将会成为整个系统的性能瓶颈，导致系统响应时间变长，降低系统的吞吐量。

由于数据分布的时间局部性和空间局部性特性，在大型分布式文件系统中，利用预取技术和缓存机制，是提升元数据服务处理效率的有效方法。然而，现有的缓存和预取方法大多针对普通的文件数据，没有考虑元数据的特性，不适用于元数据的缓存与预取。由于普通文件数据的容量大，预取不命中将对I/O带来比较大的性能惩罚，所以针对普通数据的传统预取机制比较保守，只预取了一两个文件。相比于普通数据，元数据的一个非常重要的特性是容量比较小。对于块大小为4K时，65％的元数据小于128字节，接近98％的元数据小于4224字节。因此预取不命中的元数据并不会占据缓存(Cache)的太多空间，使得预取不命中的性能惩罚不明显。因此，传统的缓存与预测方法并不适用于元数据的缓存与预取。

目前针对大规模分布式文件系统的元数据预取方法的相关研究大多是通过分析文件数据请求的历史访问模式，采用数据挖掘的技术去挖掘文件之间的关联规则，从而预测未来的元数据访问请求。文献[A Novel Weighted-Graph-Based Grouping Algorithmfor Metadata Prefetching]利用一个可移动的历史窗口对历史访问序列进行关联性统计，存储在图数据结构中，进行元数据预取，提高了元数据服务的I/O性能；但是，这种方法只是简单地文件I/O的历史访问模式进行分析，并没有应用元数据丰富的语义信息。此外，文献[FARMER：a novel approach to file access correlation mining and evaluationreference model for optimizing peta-scale file system performance]计算文件语义距离，结合历史的访问序列，有效地提高了预取的准确率，但是这个方法只是对文件属性进行相似度计算，也没有考虑到文件被操作的历史进程行为信息，即客户端的起源信息。

发明内容

本发明的目的是为了解决上述现有技术的缺陷，提供了一种客户端起源信息关联感知的元数据预取方法，该方法通过在客户端收集与进程相关的起源信息，以加强历史访问序列的时间局部性，并且利用了一种随时间衰减的关联性计算技术来提高客户端元数据预取的准确度以及预取的客户端元数据缓存命中率，减少对元数据服务器的访问次数，从而提高元数据服务的性能。

本发明的另一目的在于提供一种客户端起源信息关联感知的元数据预取系统。

本发明的目的可以通过采取如下技术方案达到：