[发明专利]跨节点的数据组管理方法、装置及介质

说明书

本文是关于一种跨节点的数据组管理方法、装置及介质。跨节点的数据组管理方法包括将i组EC组数据按预设算法生成j组结果数据；将所述i组EC组数据和j组结果数据存储在i+j个节点中，其中，i为≥2的整数，j为≥1的整数。即使多个节点瘫痪，依然能够快速将原始数据恢复出来。

技术领域

本文涉及分布式存储，尤其涉及跨节点的数据组管理方法、装置及介质。

背景技术

EC，即Erasure Code，是一种通过冗余数据来提高实际数据可靠性的方法。通过实际数据和选定的EC算法，即刻创建包含冗余数据和实际数据的EC组。在系统中同时存储冗余数据和实际数据。当出现数据丢失，损坏的情况下，通过现存的实际数据和冗余数据来恢复丢失和损坏的数据。提高数据安全性的同时，降低存储成本。

相关技术中，对EC组数据的管理方式分为单节点存储和多节点分散存储，单节点存储将EC组数据存储在单个节点中，多节点分散存储将EC组数据分散存储到多个节点中。

单节点存储的方式，当存储EC组数据的节点瘫痪或者因为网络原因与系统其它部分失联，极易导致数据不可访问，系统可用性降低。这种存储方式要求节点极其稳定，并且在可接受的时间内即可恢复工作。而多节点分散存储的方式，数据的创建，更新，恢复都要通过跨节点的方式，读取或者发送数据，导致效率低，失败率高。

发明内容

为克服相关技术中存在的问题，本文提供一种跨节点的数据组管理方法、装置及介质。

根据本文的第一方面，提供一种跨节点的数据组管理方法，包括：

将i组EC组数据按预设算法生成j组结果数据；

将所述i组EC组数据和j组结果数据存储在i+j个节点中，其中，i为≥2的整数，j为≥1的整数。

所述EC组数据包括m个实际数据块和n个冗余数据块；所述将i组EC组数据按预设算法生成j组结果数据包括：

对所述i组EC组数据中每组EC组数据中的m个实际数据块和n个冗余数据块按相同顺序编号，对每一编号对应的i个数据块按预设算法得到j个结果数据块，将m+n个编号对应的m+n个结果数据块作为一组结果数据，得到j组结果数据。

同一EC组数据存储在一个节点中，同一组结果数据存储在一个节点中。

所述同一EC组数据存储在一个节点中包括：将所述同一EC组的m个实际数据块和n个冗余数据块分别存储在m+n个存储服务器中；

所述同一组结果数据存储在一个节点中包括：将所述同一组结果数据的m+n个结果数据块存储在m+n个存储服务器中。

j＝1，所述预设算法为：异或运算。

当所述EC组数据部分损毁，通过所处节点中m+n个存储服务器内现存的实际数据块和冗余数据块恢复所述损毁数据；

当所述损毁数据无法通过所处节点中的m+n个存储服务器内的实际数据块和冗余数据块恢复或所处节点故障时，通过其他节点中的其他EC组中的数据块和j个节点中的结果数据块恢复所述损毁数据。

根据本文的另一方面，提供一种跨节点的数据组管理装置，包括：

结果数据生成模块，用于将i组EC组数据按预设算法生成j组结果数据；

分布存储模块，用于将所述i组EC组数据和j组结果数据存储在i+j个节点中，其中，i为≥2的整数，j为≥1的整数。

所述EC组数据包括m个实际数据块和n个冗余数据块；所述分布存储模块生成j组结果数据包括：