[发明专利]一种基于GlusterFS分布式文件系统的分布式对象存储系统

权利要求书

1.一种基于GlusterFS分布式文件系统的分布式对象存储系统，其特征在于，所述分布式对象存储系统包括AWS S3接口处理层、小文件聚合架构中间层和GlusterFS分布式文件系统；

所述AWS S3接口处理层位于分布式对象存储系统最上层，用于对接AWS S3接口；

所述小文件聚合架构中间层用于实现小文件聚合；

所述GlusterFS分布式文件系统为分布式对象存储系统的存储后端；

所述小文件聚合架构中间层利用内存作为1级索引，以SSD作为介质创建的GlusterFS分布式文件系统作为2级索引，以普通介质创建的GlusterFS分布式文件系统作为数据存储；

所述2级索引和数据存储两块使用了GlusterFS分布式文件系统的地方均采用了追记写的模式，以减少磁盘I/O的寻道时间和旋转延迟，从而实现写入时的高IOPS；

所述1级索引具有节点间的主备机制以及内存的刷盘机制；

节点间的主备采用环状结构，即节点2为节点1的备，节点3为节点2的备，节点1为最后一个节点的备；

某节点宕机时，其对应备节点升级成主，接替其工作；

正常运作时，所有针对1级索引的增删改操作均实时在主备两节点间复制同步，以确保宕机时，备节点能立刻接替原来的主的工作；

当某节点收到1级索引的更新请求时，先更新当前节点的数据，然后通过网络请求同步更新备节点上的数据，最后应答本次处理的结果。

2.根据权利要求1所述的一种基于GlusterFS分布式文件系统的分布式对象存储系统，其特征在于，所述分布式对象存储系统采用后台定时垃圾回收的方法清除2级索引和数据存储两块使用了GlusterFS分布式文件系统的地方遗留的垃圾数据，包括以下步骤：

步骤1：启动垃圾回收；

步骤2：循环处理所有大文件：

步骤2.1：判断待处理的大文件是否超过垃圾回收的阈值，超过则进入步骤2.2，否则处理下一个大文件；

步骤2.2：重建2级索引；

步骤2.3：重建数据存储；

步骤2.4：数据存储新旧替换；

步骤2.5：2级索引新旧替换；

步骤2.6：判断是否还有未处理的大文件，若没有，则结束垃圾回收，否则转入步骤2.1处理下一个大文件。

3.根据权利要求1所述的一种基于GlusterFS分布式文件系统的分布式对象存储系统，其特征在于，所述内存的刷盘机制包括实时刷盘和间隔时间刷盘两种机制，内存的刷盘机制处理流程为：

当1级索引有更新时，查看是否需要实时刷盘的标志位，如有，则执行实时刷盘操作，否则直接跳过实时刷盘阶段；然后查看有无间隔时间刷盘的标志位，如有，则更新1级索引的同时，把本次更新写入间隔刷盘用的缓冲区；

当采用间隔刷盘机制时，后台有常驻线程间隔时间检查这段时间的间隔刷盘用的缓冲区，如有，则执行异步刷盘操作。