[发明专利]一种基于GlusterFS分布式文件系统的分布式对象存储系统

说明书

本发明公开了一种基于GlusterFS分布式文件系统的分布式对象存储系统，包括AWS S3接口处理层、小文件聚合架构中间层和GlusterFS分布式文件系统；AWS S3接口处理层为对接AWS S3接口；小文件聚合架构中间层实现小文件聚合；GlusterFS分布式文件系统为本发明系统的存储后端。本发明的2级索引和数据存储利用GlusterFS分布式文件系统作为存储后端，数据冗余性保护可以借助GlusterFS实现，任意节点上传的数据不会因为节点故障而丢失，且节点间的数据的自动同步依赖给GlusterFS分布式文件系统，不需要额外关注；1级索引使用内存作为介质，获得了更高性能。

技术领域

本发明属于分布式对象存储技术领域，具体涉及一种基于GlusterFS分布式文件系统的分布式对象存储系统。

背景技术

在互联网(尤其是移动互联网)、物联网、云计算、大数据等高速发展的大背景下，数据呈现爆炸式地增长。据IDC的预测，到2020年产生的数据量将达到44ZB，到2025年达到175ZB。

通常认为大小在1MB以内的文件称为小文件，百万级数量及以上称为海量，由此量化定义海量小文件问题。由于在元数据管理，访问性能，存储效率等方面面临巨大的挑战性，海量小文件问题是当前工业界和学术界公认的难题。

GlusterFS分布式文件系统就有海量小文件问题。在海量小文件环境下，GlusterFS分布式文件系统在以下两点上表现不尽如人意：

首先，文件检索困难：海量小文件环境下，元数据操作比例大幅上升，大量并发的随机磁盘访问,极大降低了机械磁盘运行效率，导致文件检索速度极差，甚至会出现大目录无法打开的情况。

其次，读写性能低下：海量小文件环境下，由于文件较小，数据读写也同样表现为随机模式，数据访问延迟较大，而用户业务多采用同步方式处理海量文件,系统整体的IOPS表现极低，业务操作耗时居高不下。

由于上述文件检索困难和读写性能低下的问题，间接引发了以下两个问题：

运维困难：管理海量文件困难众多，备份数据、删除文件、文件整理等日常运维操作，都会相当耗时，甚至会持续数天。同时，这些操作也消耗大量系统资源，影响前端业务的正常运转。

成本问题：某些高端存储设备采用大容量缓存和大量SSD磁盘来提升海量小文件性能，但是成本较高。另外，业务中经常出现的小文件及大文件混合应用的场景，也进一步降低了产品性价比。

目前业界针对海量小文件问题的一个比较有效的对策是小文件聚合技术。通过元数据结构和优化和小文件的聚合，直截了当地解决检索问题和读写性能问题，进而针对性的化解海量小文件问题。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于GlusterFS分布式文件系统的分布式对象存储系统。

为实现上述技术目的，本发明采取的技术方案为：

一种基于GlusterFS分布式文件系统的分布式对象存储系统，所述分布式对象存储系统包括AWS S3接口处理层、小文件聚合架构中间层和GlusterFS分布式文件系统；

所述AWS S3接口处理层位于分布式对象存储系统最上层，用于对接AWS S3接口；

所述小文件聚合架构中间层用于实现小文件聚合；

所述GlusterFS分布式文件系统为分布式对象存储系统的存储后端。

为优化上述技术方案，采取的具体措施还包括：

上述的小文件聚合架构中间层利用内存作为1级索引，以SSD作为介质创建的GlusterFS分布式文件系统作为2级索引，以普通介质创建的GlusterFS分布式文件系统作为数据存储。