[发明专利]一种数据对象存储管理的方法和装置

说明书

本发明涉及存储领域，特别是涉及一种数据对象存储管理的方法和装置。其中，方法的步骤包括：为每个应用程序建立相应的虚拟桶，配置每个虚拟桶管理的实际桶；虚拟桶对管理的每个实际桶进行初始化，根据数据类型配置实际桶的类型，并为每个桶分配存储范围；虚拟桶根据实际桶的数据类型和存储范围，将数据对象存放在相应的实际桶中；虚拟桶根据外部数据请求，按照需要访问的数据类型和每个实际桶的存储范围，与相应的实际桶进行数据交互。本发明通过在应用程序和实际桶之间增加虚拟桶，使实际桶对应用程序透明，应用程序无需对实际桶进行直接管理，简化了数据访问操作，减少了应用程序的操作负担。

【技术领域】

本发明涉及存储领域，特别是涉及一种数据对象存储管理的方法和装置。

【背景技术】

在目前分布式对象存储使用中，应用程序想要访问对象存储中的对象或者向对象存储中写入对象，都需要先创建存储桶(bucket)，再通过bucket读取或写入对象。

由于每个bucket所存储的对数量有上限，超过数量上限后索引效率会变的很差，官方建议每个bucket存储的对象数量不超过10万，并且每个bucket只能绑定一个存储池。因此，在实际使用中会产生以下两个问题：当应用程序向一个bucket存储的对象达到一定数量后，需要新建一个bucket存放对象。这就导致应用程序需要维护bucket信息，甚至需要不断修改应用程序以适应数量不断上涨的对象存储需求。由于一个应用程序的数据可能存在热数据和冷数据，热数据需要存储在SSD池中，而冷数据需要存储在HDD池中。那这个应用程序就需要分两种bucket类型存储冷热数据，而每种bucket类型随着对象数量上涨又有可能需要新建bucket，对应用程序非常不友好。

鉴于此，如何克服现有技术所存在的缺陷，解决现有技术中心bucket的管理方式对应用程序不友好的现象，是本技术领域待解决的问题。

【发明内容】

针对现有技术的以上缺陷或改进需求，本发明解决了应用程序在访问存储桶时存取、数据分类、数据管理较为复杂的问题。

本发明实施例采用如下技术方案：

第一方面，本发明提供了一种数据对象存储管理的方法，具体为：为每个应用程序建立相应的虚拟桶，配置每个虚拟桶管理的实际桶；虚拟桶对管理的每个实际桶进行初始化，根据数据类型配置实际桶的类型，并为每个桶分配存储范围；虚拟桶根据实际桶的数据类型和存储范围，将数据对象存放在相应的实际桶中；虚拟桶根据外部数据请求，按照需要访问的数据类型和每个实际桶的存储范围，与相应的实际桶进行数据交互。

优选的，与相应的实际桶进行数据交互，还包括：虚拟桶查找每一个实际桶在另一个对象网关节点中同名的实际桶，作为实际桶的备份桶；当虚拟桶接收到外部数据请求时，获取每个实际桶的访问状态；若实际桶出现访问异常，或需要访问的数据对象出现访问异常，虚拟桶将外部数据请求重定向到备份桶上。

优选的，若实际桶中数据对象的数量超过预定数量阈值，还包括：建立新的实际桶，将新建实际桶分配至原实际桶所在的虚拟桶中；根据新建实际桶的数量，重新计算虚拟桶中每个实际桶的存储范围；根据重新计算的存储范围，将原实际桶中的数据对象迁移入对应的实际桶中。

优选的，将原实际桶中的数据对象迁移入对应的实际桶中，具体包括：获取每个原实际桶的存储范围和每个新实际桶的存储范围；当存入新的数据对象时，按照重新计算后的实际桶的存储范围，将数据对象存入对应的实际桶中；当读取文件时，同时向原实际桶的存储范围所定位的实际桶和重新计算后的实际桶的存储范围所定位的实际桶发起读请求。

优选的，将原实际桶中的数据对象迁移入对应的实际桶中，还包括：根据预设的迁移策略，查找每个实际桶中不属于重新计算后的存储范围的数据对象，并将查找到的数据对象迁移至重新计算后的存储范围对应的实际桶中；当实际桶中所有的数据对象都按照重新计算后的存储范围分布后，在读取文件时，仅向重新计算后的存储范围所定位的实际桶发起读请求。