[发明专利]基于面向对象文件系统的数据副本映射方法及装置

说明书

技术领域

本发明涉及数据存储技术领域，尤其涉及一种基于面向对象文件系统的数据副本映射技术。

背景技术

随着网络技术的不断进步，网络数据量日益膨胀，海量数据存储已成为网络发展迫切需要解决的问题之一。网络存储系统提供网络信息系统的信息存取服务和信息共享服务，其超大数据容量、超高数据传输速率和超高系统可用性已成为网络存储的典型特征，而面向对象文件系统已成为网络存储系统的发展趋势。面向对象存储是指数据的存储以对象为单位，一个对象实际上是文件数据和一组属性的组合，该组属性可以定义基于文件的独立磁盘冗余阵列(Redundant Array of Independent Disks，RAID)参数、数据分布和服务质量等。文件数据与属性的组合使得面向对象存储能够基于单个文件决定其数据分布以及服务质量，有效地提高可扩展性与易管理性。面向对象文件系统正是基于这种存储机制实现的集群文件系统。面向对象文件系统由四种实体组成，分别是计算节点(Computer Node，CN)、元数据服务器(Metadata Server，MS)、对象存储设备(Object Storage Device，OSD)及网络设备。计算节点提供了用户访问面向对象文件系统的接口；元数据服务器管理系统中的文件、目录以及每个文件的分布视图；对象存储设备用来提供对象数据的管理和存储；网络设备负责将计算节点、元数据服务器和对象存储设备进行互联。

近年来一些数据存储方案倾向于采用大量存储容量较小且相对廉价的存储节点来构建大规模存储系统，因此在实际PB级存储系统中存储节点的个数普遍成千上万。随着存储节点数量的增加，存储系统中的数据丢失率将会大大增加。假设单个存储节点的平均失效时间为10年，则具有上万存储节点的大规模存储系统的平均失效时间仅为10小时左右。在这种情况下，必须采取切实可行的高可靠性数据存储保障技术。由于存储节点资源价格的日益降低，大规模存储系统中的存储节点资源显得相对丰富，数据副本技术就成为保障数据存储可靠性的流行技术，这就要求数据映射方法必须有效支持数据副本技术；并且随着存储系统规模的增大，存储节点增加和失效也会变得较为频繁，失效包括存储节点退出、损坏等情况，使得存储系统的可靠性维护变得越来越困难。

发明内容

本发明提供一种基于面向对象文件系统的数据副本映射方法及装置，能够支持数据副本技术，达到快速映射的目的，方法简单有效。

本发明实施例提供的基于面向对象文件系统的数据副本映射方法，包括：

将面向对象文件系统中对象唯一的对象标识映射到第一数据空间；

对各存储节点配置唯一的存储节点标识并进行分组，将存储节点标识映射到第二数据空间；

确定所述对象的数据副本在各分组的目的存储节点，所述目的存储节点在第二数据空间中的映射值与所述对象在第一数据空间中的映射值差值最小。

本发明实施例提供的基于面向对象文件系统的数据副本映射装置，包括：

对象映射模块：用于将面向对象文件系统中对象唯一的对象标识映射到第一数据空间；

存储节点分组映射模块：用于对各存储节点配置唯一的存储节点标识并进行分组，将存储节点标识映射到第二数据空间；

数据副本映射控制模块：用于确定所述对象的数据副本在各分组的目的存储节点，所述目的存储节点在第二数据空间中的映射值与所述对象在第一数据空间中的映射值差值最小。

本发明实施例提供的基于面向对象文件系统的数据副本映射方法及装置将一个具有唯一对象标识的对象映射到多个存储节点上，使得该对象具有多个数据副本，在其中一个存储节点失效的时候，可以从其它存储节点上获得该对象的数据，从而有效的解决了大规模存储系统的可靠性问题，方法简单，映射快速。

附图说明

图1为本发明实施例中数据定位方法示意图；

图2为本发明实施例中引入最小分散距离减小随机误差示意图；

图3为本发明实施例中基于面向对象文件系统的数据副本映射方法流程图；

图4为本发明实施例中基于面向对象文件系统的数据副本映射装置框图；

图5为本发明实施例中系统包含对象个数对映射结果的影响对比示意图；

图6为本发明实施例中系统包含存储节点个数对映射结果的影响对比示意图；

图7为本发明实施例中增删存储节点时迁移数据量与理论下限偏差对比示意图；

图8为本发明实施例中参数取值对映射结果的影响对比示意图。

具体实施方式