[发明专利]一种用于海量对象的存储方法及系统

说明书

本发明公开了一种用于海量对象的存储方法及系统，属于数据存储领域；所述的方法具体步骤如下：S1对用户的请求进行认证授权；S2对外提供服务的bucket映射为多个虚拟bucket；本发明方法用以满足用户存储海量数据的要求，同时解决单个bucket存储object数量上限的问题，提高查询的性能。在系统进行扩容/缩容时，尽量减少或者避免数据的大量迁移，从而保证整个系统平稳运行，提高系统的可用性及数据高可靠性，提升用户体验。

技术领域

本发明公开一种用于海量对象的存储方法及系统，涉及数据存储技术领域。

背景技术

海量小文件存储(简称LOSF，lots of small files)出现后，就一直是业界的难题，这类业务只需要简单的存取，非常适合使用对象存储。对象存储是面向对象/文件的海量云存储。对象存储没有像文件系统那样有一个很多层级的文件结构，而是只有一个“桶(bucket)”的概念(也就是存储空间)，“桶”是用于存储对象(object)的容器，是一种非常扁平化的存储方式。当前业界采用最为流行的Ceph作为后端存储。

Ceph是一种具备卓越性能和高可靠性、高扩展性的统一、分布式存储系统。 Ceph通过RGW(Rados Gateway)对外提供对象存储服务，支持S3和Swift两种接口。

在上述技术趋势下，存在以下问题：单个bucket在实际使用中存在object 数量的上限，受限于桶的元数据索引的shard数量，即使目前社区已经支持了 reshard甚至是AutoReshard，但是随着object达到上十亿级别甚至千亿时，每次reshard的时间会越来越长，最为严重的是当系统处于reshard操作时，会阻塞客户端的上传请求，同时在此过程中增加了元数据丢失的风险。另外 Ceph集群进行扩容缩容时也会触发数据的重新平衡，当集群内数据量巨大时，平衡时间也会非常长，严重影响正常的业务。

有鉴于此，有必要对现有技术中对象存储的实现方法予以改进，故发明一种用于海量对象的存储方法及系统，以解决上述问题。

发明内容

本发明针对现有技术的问题，提供一种用于海量对象的存储方法及系统，所采用的技术方案为：一种用于海量对象的存储方法，所述的方法具体步骤如下：

S1对用户的请求进行认证授权:

从用户的请求中解析出access_key和数字签名，使用用户的access_key 和请求头部数据计算出出数字签名；

比较计算出的数字签名和用户请求传过来的是否一致，如果一致就认证通过，否则认证失败；

对通过认证的请求进行资源鉴权；

S2对外提供服务的bucket映射为多个虚拟bucket:

将每个bucket对应一组虚拟的bucket进行命名；

当存储容量到达虚拟bucket的门限值时，触发扩容虚拟桶的流程；

根据测试数据设置单个虚机桶内对象数量。

所述S2采用Hash算法定位当前文件对应的虚拟bucket。

所述扩容虚拟桶的流程中，获取底层Ceph集群剩余的存储空间，在剩余空间最大的Ceph上创建虚拟bucket。

所述底层Ceph集群剩余的存储空间能够对接多个Ceph集群，每个Ceph 集群都有个RGW对外提供服务。

所述Ceph集群之间互相备份。

一种用于海量对象的存储系统，所述的系统具体包括请求处理模块和虚拟映射模块：

请求处理模块：对用户的请求进行认证授权；