[发明专利]基于高带宽存储系统的数据同步方法

权利要求书

1.一种基于高带宽存储系统的数据同步方法，用于在基于SSD的分布式存储系统中进行数据存储，其特征在于，包括：

SSD节点在接收到文件划分成的簇时，将其封装成定长数据段，

随后将多个定长数据段分成一组，执行纠删码算法生成多个编码对象；

将编码对象组内的各个对象分散到不同节点上存储；

对于同一个或同一批文件所属的新簇，将其封装并分组编码生成的编码对象组调度到同一组节点存储；

当接收到文件读取请求后，解析请求中附带的文件标识符；

根据文件标识符查询相应文件的簇列表，包括查询该文件包含的所有簇的标识符，然后根据各簇的标识符查询出其所属的对象的标识符，根据对象的标识符查询出对象所属的编码对象组的标识符，再通过对象组的标识符查询出该对象所在的SSD节点的标识符；

全部查询完成后，将文件所包含的所有簇的标识符列表、各簇所属对象的标识符以及该对象所在SSD节点的标识符信息都一并存储到专门的结构；

根据该结构中包含的簇标识符列表和各簇的存放位置信息，从相应的SSD节点读取各簇的数据；

SSD节点通过对象标识符查找到对象所存放的位置，然后通过簇标识符在该对象的簇索引内进行查找，找到该簇在对象内的偏移地址和长度，最后读取相应区间的数据；

按照所述结构中指定的顺序拼装到一起，最终组合成原始文件。

2.根据权利要求1所述的方法，其特征在于，所述分布式存储系统当检测到某个SSD节点失效时，其首先查询该节点所包含的所有对象的信息，然后调度系统内多个健康节点同时开展恢复工作，各自负责一部分对象的恢复；

当SSD节点超载时，通过纠删编码算法由其他轻载节点上的对象计算出该超载节点上的对象，进而将对象副本临时存放在这些轻载节点上并对外提供服务，减轻超载节点的负担；

使用区域映射表管理数据均衡化，维护簇对应的SSD节点之间的映射关系；当某个簇位于SSD节点上的所有数据迁移至备用节点后，原有映射记录与写时复制产生的新版本映射记录进行合并；区域映射表还将数据请求重定向到对应的SSD节点，为记录对应每个SSD节点上对应文件的具体位置，区域映射表中的记录以文件或数据库的形式进行存储，并使用散列索引存储在内存中；内存中的映射记录变化将被同步的写入存储层；

当检测模块检测到写性能下降后，选择使用发生写性能下降的SSD节点的相应簇进行数据迁移；使用节点映射表快速定位到每个SSD节点中存储的簇，节点映射表和区域映射表之间是逆向映射关系；从两个方面对每一个簇进行监控：1)首先是每个簇落入的数据写请求总次数，代表着这个簇的写频度；2)其次是每个SSD节点上各个簇的写频度排序，当发生写性能下降的SSD节点上的簇被选择迁移时，根据写频度的排序，选取写请求数据量最少的节点作为迁移的目标。