[发明专利]一种文件系统文件布局的实现方法及系统

说明书

本发明公开了一种文件系统文件布局的实现方法，包括遍历vset数组得到关于磁盘相互关联度和命中次数的二维数组；根据所述二维数组反映的磁盘关联趋势构建topo；将磁盘池中所有物理磁盘填入topo，完成创建。本发明方法建立异构topo集合作为文件系统文件布局，明显增加了同磁盘池内磁盘的关联度，一块磁盘在保证数据可靠性(节点冗余度的限制等)的前提下和同磁盘池内尽可能的多的磁盘互为副本和冗余，从而在修复操作发生时，极大的提高了读带宽，提高了修复速度。

技术领域

本发明涉及计算机数据处理技术领域，具体而言，为一种文件系统文件布局的实现方法及系统。

背景技术

layout(文件布局)是文件系统的重要组成部分，是文件元数据的主要成员之一；其维护了文件内容逻辑位置到物理位置的映射，利用有限的数据，能明确的表明文件内容具体所在的磁盘甚至磁盘内的偏移。

layout的实现方式总结起来可以分为两大类：三级间接地址布局、扩展段块布局。三级间接地址布局，简单描述就是利用固定的映射关系(映射算法)记录文件位置，该种方法应用于ext2/ext3等本地文件系统，但是由于layout本身描述数据量比较大，并不适用于分布式文件系统，分布式文件系统的数据量通常达到PB级别。

分布式文件系统layout的实现通常采用扩展段块布局的思想；扩展段块布局的思想是将文件进行分段，可以固定文件段的大小，在文件被写到一定大小之前，文件只有一个段，只有文件大小超过一个段时，才为文件重新分配一个段。那么文件的layout将会是一个可扩展的段描述数组，而由于段大小固定，在描述每个段时，只需要描述清楚其和物理位置的映射即可。

目前市场上有很多分布式文件系统产品、例如蓝鲸机群文件系统、华为OceanStorN9000等。这些文件系统layout实现方案，均是基于扩展段块布局方案，且应用场景基本相同，均是海量分布式文件系统，均是要将文件数据以特定配比存储于多节点多磁盘的计算机集群中。

现有方案均的思想均是期望连续创建的文件，可以均匀的写到系统内全部磁盘中，以获得系统最大的写带宽。各个产品段块的描述方式有所不同，但是现有实现方案都存在一个普遍问题，即系统中的一块磁盘，只和系统中其余的有限数量的磁盘产生固定关系，生成段块描述，这样就限制了一块磁盘中的数据只和其他很有限的磁盘互为副本以及互为冗余。

当系统中某个磁盘或或者某个节点发生故障、甚至主动删除时，为了保证数据的可靠性要从系统内其余节点和磁盘寻找空间，重新修复被故障的磁盘。而此时如果磁盘上的数据只和有限的几块磁盘互为副本或冗余，那么将会严重限制修复操作的读带宽，从而导致了系统修复操作相当缓慢。

有鉴于此，特提出本发明。

发明内容

针对现有技术中的缺陷，本发明提供一种文件系统文件布局的实现方法及系统，保证分布式文件系统中数据的可靠性。

为了实现上述目的，本发明的技术方案为：

一种文件系统文件布局的实现方法，包括

遍历vset数组得到关于磁盘相互关联度和命中次数的二维数组；

根据所述二维数组反映的磁盘关联趋势构建topo；

将磁盘池中所有物理磁盘填入topo，完成创建。

进一步的，上述的文件系统layout的实现方法中，所述“根据所述二维数组反映的磁盘关联趋势构建topo”中，二维数组的所述磁盘关联趋势为每块磁盘的相互关联值为该块磁盘和其余磁盘的命中次数之和除以该块磁盘和其余磁盘命中次数的最大值；计算公式为：

c_value(i)＝(hit(i-1)+…+hit(i-n))/hit(max in disk(i))；