[发明专利]一种碎片数据整理方法、装置及存储节点

权利要求书

1.一种数据整理方法，其特征在于，应用于分布式存储系统中的存储节点，所述方法包括：

确定各个目标主数据块；其中，每个目标主数据块为：处于关闭状态且不存在异步任务的主数据块；

按照预设分组原则，对各个目标主数据块进行分组，得到至少一个主数据块组；其中，所述预设分组原则包括：属于同一组的目标主数据块的备份数据块位于同一存储节点；

针对每个主数据块组，将该主数据块组中的目标主数据块所存储的各个数据片段连续写入到第一数据块中，在每一目标主数据块中的全部数据片段写入完成后，释放该目标主数据块的存储空间；

针对每个主数据块组，每当完成属于该主数据块组的任一数据片段的写入后，指示该目标主数据块组对应的目标存储节点在第二数据块中连续写入该数据片段的备份数据，以及释放所述备份数据的原始存储空间；其中，所述目标存储节点为：该主数据块组的各个目标主数据块的备份数据块所在的存储节点。

2.根据权利要求1所述的方法，其特征在于，所述将该主数据块组中的目标主数据块所存储的各个数据片段连续写入到第一数据块中的步骤，包括：

针对该主数据块组中的目标主数据块所存储的每一数据片段，将该数据片段连续写入到第一数据块中，并将更新后的该数据片段的索引信息写入到所述第一数据块中；

所述指示该目标主数据块组对应的目标存储节点在第二数据块中连续写入该数据片段的备份数据的步骤，包括：

指示该目标主数据块组对应的目标存储节点将该数据片段的备份数据写入到第二数据块中，并将更新后的所述备份数据的索引信息写入到所述第二数据块中。

3.根据权利要求1或2所述的方法，其特征在于，在所述针对每个主数据块组，将该主数据块组中的目标主数据块所存储的各个数据片段连续写入到第一数据块中的步骤之前，所述方法还包括：

针对每个主数据块组，基于该主数据块组对应的数据量和目标存储容量，确定用于连续存储该主数据块组对应数据的第一数据块；

其中，该主数据块组对应数据为：该主数据块组中各个目标主数据块所存储数据块，每个主数据块组对应的数据量为：该主数据块组中各个目标主数据块所存储数据片段的数据量总和，所述目标存储容量为：所述存储节点中的数据块的存储容量。

4.根据权利要求3所述的方法，其特征在于，在所述针对每个主数据块组，基于该主数据块组对应的数据量和目标存储容量，确定用于连续存储该主数据块组对应数据的第一数据块的步骤之后，所述方法还包括：

针对每个主数据块组，指示该主数据块对应的目标存储节点，确定用于存储该主数据块组对应备份数据的第二数据块；

其中，该主数据块组对应备份数据为：该数据块组中各个目标主数据块所存储数据片段的备份数据；该主数据块组对应的目标存储节点所确定的第二数据块的数量，与用于连续存储该主数据块组对应数据的第一数据块的数量相同。

5.根据权利要求1所述的方法，其特征在于，所述确定各个目标主数据块的步骤，包括：

确定所述存储节点中，处于关闭状态且不存在异步任务的各个主数据块；

基于所确定的各个主数据块所存储数据片段的数据存储信息，从所确定的各个主数据块中确定各个目标主数据块。

6.根据权利要求5所述的方法，其特征在于，所述基于所确定的各个主数据块所存储数据片段的数据存储信息，从所确定的各个主数据块中确定各个目标主数据块的步骤，包括：

从所确定的各个主数据块中，确定符合预定条件的目标主数据块；

其中，所述预定条件包括：有效数据空间占比小于第一指定占比阈值，和/或存在空洞。

7.根据权利要求1所述的方法，其特征在于，所述按照预设分组原则，对各个目标主数据块进行分组，得到至少一个主数据块组的步骤，包括：

按照预设分组原则，对各个目标主数据块进行分组，得到至少一个候选组；

针对每个候选组，若该候选组中各个目标主数据块的数量大于第一预设数值，和/或，该候选组中各个目标主数据块的有效数据空间占比总和大于第一预设占比和值，则将该候选组确定为主数据块组。