[发明专利]数据存储方法、装置及存储介质

说明书

本发明提供了一种数据存储方法、装置及计算机可读存储介质，该方法包括以下步骤：每隔预设周期按照预设规则确定各业务组使用的OSD的数量，并为同一个业务组的OSD分配一个唯一的子集群标识；接收用户向分布式存储系统存储数据文件的请求；根据用户的识别信息确定该用户所属的业务组及该业务组OSD的子集群标识；将所述数据文件均匀切分为多个数据块，利用CRUSH算法将每个数据块的多个副本存储在具有对应子集群标识的OSD中。本发明通过为各业务组分配OSD，实现资源的合理配置，通过在集群的拓扑结构中加入子集群的逻辑划分，将OSD故障对存储系统的影响控制在子集群的范围内。

技术领域

本发明涉及数据存储技术领域，尤其涉及一种数据存储方法、装置及计算机可读存储介质。

背景技术

分布式存储系统是将数据分散地存储在多台独立的设备上的系统，Ceph是一种广泛应用的开源的分布式存储系统，它将数据视为对象(Object)，通过在可扩展散列下的受控复制(Controlled Replication Under Scalable Hashing，CRUSH)算法将对象均匀分布到存储设备集群之中，并提供动态扩展、平衡和恢复。

目前，在分布式存储系统中，多采用三副本机制在三个不同的位置对数据进行存储以提高数据存储的可靠性，数据在以三副本的形式保存的时候，分别以数据中心、机房、机柜、主机、对象存储设备(Object Storage Device，OSD)的层次结构来进行故障域的规划。一旦其中一个OSD出现故障，则为了保证其三副本的可用性，将进行整个集群的数据迁移，该数据迁移的过程占用大量的系统资源，大大影响系统性能。

发明内容

为解决现有技术存在的不足，本发明提供一种存储方法、装置及计算机可读存储介质，可以为各业务组分配OSD，在集群的拓扑结构中主机的层次上面加入一个子集群的逻辑划分，实现资源的合理配置并将OSD故障对存储系统的影响控制在子集群的范围内。

为实现上述目的，本发明提供一种数据存储方法，应用于电子装置，该电子装置通过网络连接分布式存储系统，分布式存储系统提供一系列主机及OSD，其特征在于，该方法包括：

设备分配步骤：每隔预设周期按照预设规则确定各业务组使用的OSD的数量，并为同一个业务组的OSD分配一个唯一的子集群标识；

请求接收步骤：接收用户向分布式存储系统存储数据文件的请求；

业务组确定步骤：根据用户的识别信息确定该用户所属的业务组及该业务组OSD的子集群标识；及

文件存储步骤：将所述数据文件均匀切分为多个数据块，利用CRUSH算法将每个数据块的多个副本存储在具有对应子集群标识的OSD中。

优选地，所述设备分配步骤中的预设规则包括：

统计各业务组在一个预设周期内在分布式存储系统中存储数据的历史资料，包括总数据大小、涉及的OSD总数量和发生数据迁移的OSD数量；

根据各业务组的总数据大小、涉及的OSD总数量和发生数据迁移的OSD数量计算得到所有业务组在该预设周期内在该分布式存储系统中存储数据的平均数据大小、平均OSD数量和发生数据迁移的OSD平均数量；

当某个业务组的总数据大小与所有业务组的平均数据大小之差每大于第一预设阈值时，在所述涉及的OSD总数量的基础上，为该业务组增加第一预设数量的OSD；

当某个业务组发生数据迁移的OSD数量与所有业务组发生数据迁移的OSD平均数量之差每大于第二预设阈值时，在所述涉及的OSD总数量的基础上，为该业务组增加第二预设数量的OSD。

优选地，具有不同子集群标识的OSD位于不同的主机上。

优选地，所述文件存储步骤包括以下步骤：