[发明专利]一种按数据属性分类存放的混合存储方法及系统

说明书

技术领域

本发明属于计算机存储技术领域，更具体地，涉及一种按数据属性分类存放的混合存储方法及系统，能有效提升存储系统的I/O性能和可靠性。

背景技术

随着信息技术的发展，人们需要处理和访问越来越多的数据，而文件系统是用户访问存储设备中数据的主要途径，因此文件系统如何高效地组织和管理海量数据，提高用户访问数据的效率是一个重要的问题。I/O密集型应用使I/O子系统成为整个计算机系统的瓶颈，文件系统作为底层存储资源的管理者，应该为上层应用提供灵活有效的服务，以更有效地利用底层存储资源。此外，文件系统中元数据的管理也成为了很多数据密集型程序的瓶颈。

文件系统元数据就是数据的数据。在文件系统领域每一个文件对应一个元数据结构体。这个结构体包括文件的属性，比如文件创建、修改及访问的时间，文件拥有者，权限，映射信息等。用户在访问数据之前必须首先获得数据的元数据信息，进一步讲，对文件的读写都需要先访问文件的元数据，检查是否有访问的权限，并计算获得要访问的文件的位置并获得具体数据块的位置，然后才能对数据进行相应的操作，所以在文件系统中超过50％的用户访问请求都涉及元数据的操作，本地文件系统中元数据I/O密集型访问使I/O子系统成为了整个计算机系统的瓶颈。但是，在本地文件系统中元数据操作与数据的操作是混合在一起的，由于元数据的负载与数据的负载差别很大，当数据密集型操作与元数据密集型操作混合在一起并发地访问本地文件系统的资源时，元数据的负载与数据的负载必然会相互影响，造成整个存储系统I/O性能的下降，使I/O子系统对于整个计算机系统的瓶颈作用更加明显。

一旦元数据丢失或发生错误，整个文件系统中的数据将不可访问，考虑到文件系统中元数据的特点以及元数据对整个文件系统的重要性，亟需一种有效的解决方法来保证文件系统中元数据的访问效率及访问可靠性。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种按数据属性分类存放的混合存储方法及系统，根据文件系统中数据的属性将数据分类存放到不同介质、不同阵列级别的设备，能有效提高文件系统中元数据的访问效率及访问可靠性，从而提高存储系统的性能和可靠性。

为实现上述目的，按照本发明的一个方面，提供了一种按数据属性分类存放的混合存储方法，其特征在于，包括如下步骤：(1)将文件系统的数据和元数据分别分配在文件系统的每个块组的不同区间；(2)将文件系统每个块组中不同区间的数据和元数据分别存放到不同的设备中，使用硬盘驱动器存放数据，使用固态硬盘存放元数据。

优选地，所述步骤(1)进一步包括如下子步骤：(1-1)将元数据分为固定分配的元数据和动态分配的元数据；其中，将文件系统的每个块组的超级块到索引节点表之间的数据作为固定分配的元数据，将文件系统中的目录块作为动态分配的元数据；(1-2)计算文件系统中动态分配的元数据需要分配的数据块总数SumMetadata；(1-3)在文件系统的每个块组的索引节点表后预留SumMetadata个数据块；其中，每个块组中预留的最后一个数据块的逻辑块号记为M；(1-4)将动态分配的元数据分配在文件系统的每个块组的索引节点表后预留的SumMetadata个数据块中；将数据分配在文件系统的每个块组的逻辑块号大于M的数据块中。

优选地，所述步骤(2)进一步包括如下子步骤：(2-1)用固态硬盘创建RAID1，用硬盘驱动器创建RAID5；(2-2)将RAID1和RAID5创建成一个混合逻辑设备；(2-3)接收用户向混合逻辑设备发送的读写请求，对请求的逻辑块号进行检查，根据请求的逻辑块号，对请求进行重定向。

优选地，所述步骤(2-3)中，在请求的逻辑块号小于或等于M时，将请求重定向到RAID1中；在请求的逻辑块号大于M时，将请求重定向到RAID5中。

按照本发明的另一方面，提供了一种按数据属性分类存放的混合存储系统，其特征在于，包括：分类聚集模块，用于将文件系统的数据和元数据分别分配在文件系统的每个块组的不同区间；混合存储地址映射模块，用于将文件系统每个块组中不同区间的数据和元数据分别存放到不同的设备中，使用硬盘驱动器存放数据，使用固态硬盘存放元数据。