[发明专利]实现存储系统自动精简的方法

摘要

本发明公开了一种实现存储系统自动精简的方法，用于解决现有存储系统自动精简方法实用性差的技术问题。技术方案是统一资源的使用者和管理者，通过在文件系统元数据中增加控制信息，确保数据存储的按需分配，并且保证数据不会存放到未分配空间，结合云存储系统提供的API，实现在线存储空间的扩容和使用，达到自动精简配置的目的。重新定义文件系统元数据信息，使其包含设备信息和地址映射信息；在文件系统中将逻辑空间分为已分配空间和未分配空间，并进行地址映射管理；通过监测读写过程，确保读写操作不会访问到未分配空间。本发明方法能够方便地管理存储空间，实现存储空间的动态伸缩，实用性强。

主权项

一种实现存储系统自动精简的方法，其特征在于包括以下步骤：文件系统元数据管理模块用于定义元数据的布局及格式；通过所述元数据管理多个块存储设备，并将多个块存储设备组织为统一的文件系统向外提供服务；操作系统及应用程序调用统一的文件系统，统一的文件系统提供IO读写方法，并在其中实现IO读写监测模块；IO读写监测模块通过监测IO写请求，给IO写操作分配可用的block空间；在此监测过程中判断是否有可用的block空间，本次分配的block空间是否已达到了预警的要求；存储空间监测模块和IO读写监测模块共同处理block空间不足的情况；在使用空间达到全部可使用空间预先设定的阈值后，IO监测模块向存储空间监测模块发送消息，存储空间监测模块根据预定的策略，向用户发送警报信息或者通过云存储或者SAN存储区域网络提供的接口自动申请块存储资源，并利用存储空间伸缩调整模块自动对统一的文件系统进行扩容；统一的文件系统伸缩调整模块通过修改文件系统的元数据，达到文件系统扩容的功能，在统一的文件系统伸缩调整虚拟空间的大小；所述文件系统由多个不同的block group组成，第一个block group中保存超级块信息，其中保存block group数量和位置信息；超级块也在若干其他block group中进行备份；每个block group包括Group Descriptors,数据块bitmap,inode bitmap，以及存放具体数据的inode表和data表；其中Group Descriptors包括组信息组类型、设备信息、下一个组的位置、预警flag及其他常规信息；Group type分为normal和dummy两种；Dummy block group仅记录虚拟空间的大小，其中空间大小使用Group info中的块大小和数量确定，但是其中并不保存inode表和data表的各种信息；根据预定的预警阈值，当使用到某些块时说明已用空间与可用空间比例达到所述的预警阈值，需要通知管理员处理或自动申请存储资源并添加；根据每个块的空间大小，每个block group都保存了本block group的块大小和数量，并保存了逻辑上相邻的下一个block group的位置；其中最后一个block group保存虚拟空间的信息，其中仅有块大小和块数量有效，但是并无实际的存储空间；该block group的next block group为空；多个磁盘上部署该文件系统与单个磁盘类似，文件系统由多个block group组织而成；最后一个block group的next block group为空；前面的磁盘中block group依次指向后续的block group，这些block group组成的逻辑空间是连续的；当需要动态向所述文件系统中增加存储设备时，首先在新的磁盘上分配block group，最后一个block group为dummy block group；读取旧的dummy block group信息，根据原有虚拟空间减去新增可用空间得到新的dummy block group的信息；找到原来文件系统的倒数第二块block group，将其next指针指向新磁盘的第一个blockgroup；根据增加的block group数量修改超级块中的相关信息；根据可用空间、已用空间以及预警阈值，调整alert block group的位置；清除旧的alert block group的alert flag，并根据计算所得结果，找到新的阈值所在block group，并设置其alert flag；在向系统中增加存储设备完成后，需要向该系统中增加文件系统大小；增加文件系统大小仅增加虚拟空间的大小，所以只需修改dummy block group的相关信息，增加虚拟block数量即可；在文件系统向使用者提供服务前，需要设定预警用的alert block group，并设置对应的block group的alert flag；在使用者扩展文件或写文件时，需要分配空间时，首先定位文件inode表所在的block group，判断其上是否有足够的空闲块；如果有空闲块，判断是否是普通的block group；如果是普通的block group，则直接分配空间写入数据；如果是alert block group，说明可用空间数量不足，需要发送alert请求或自动增加设备随后再分配block进行读写；如果当前block group没有足够的空间，则移到下一个block group；判断该group是否是dummy group；如果不是判断该group是否有足够的空闲块；如果是dummy group说明目前没有可用的空间，需要发送alert或自动增加设备。