[发明专利]一种异构节点流式数据分布式存储方法

权利要求书

1.一种异构节点流式数据分布式存储方法，其特征在于，包括以下步骤：

S1、异构存储节点为Node[0]，Node[1]···Node[N-1]，设置第x个节点的存储能力为P[x]；流式数据源为Stream[0],Stream[1]···Stream[S-1]，设置第y个数据源的数据存储要求为R[y]；

S2、根据所述流式数据源的码率和存储周期，计算所述流式数据源对存储节点存储空间的数据存储要求R[y]；

S3、获取存储节点列表中存储能力大于数据存储要求的存储节点集合，即获取满足P[x]≥R[y]要求的所述存储节点；

S4、根据所述存储节点的存储能力从大到小的顺序，将所述流式数据源按照分配算法原则分别分配于步骤S3中获取的所述存储节点集合中；判断所述存储节点集合能否完成所述流式数据源的存储，若所述存储节点集合可以满足所述流式数据源的存储，则将分配结果返回至所述存储节点，将所述数据源存储于所述存储节点集合中；否则，返回失败，所述存储节点不足以存储所述数据源。

2.根据权利要求1所述的异构节点流式数据分布式存储方法，其特征在于，所述流式数据源Stream和所述存储节点Node之间的分配关系：当增加所述存储节点列表中所述存储节点时，已经分配存储的所述流式数据源Stream不进行移动，对新增的所述流式数据源按照步骤S2～S4存储于新增后的所述存储节点列表的存储节点中；当减少所述存储节点列表中的所述存储节点时，将减少的所述存储节点中存储的所述流式数据源，按照上述步骤S2～S4存储于剩余的所述存储节点中。

3.根据权利要求1所述的异构节点流式数据分布式存储方法，其特征在于，所述数据源的存储采用纠删运算的方式进行计算：n＝k+m，

其中，k表示所述数据源的原始数据块的数量，m表示数据校验块的数量，n表示所述数据源经过纠删运算后的数据块的总数量。

4.根据权利要求1所述的异构节点流式数据分布式存储方法，其特征在于，所述流式数据源对存储节点存储空间的数据存储要求R[y]的计算公式为：

R[y]＝T*S/k，

其中，T为流式数据的存储周期，S表示某一个流式数据源1秒内的数据量，k为用于纠删运算时数据源的原始数据块数量。

5.根据权利要求1所述的异构节点流式数据分布式存储方法，其特征在于，能够存储所述流式数据源的所述存储节点的存储能力P[x]为的要求为：

P[x]≥R[y]/E，

其中，E为存储能力有效率(％)。

6.根据权利要求1所述的异构节点流式数据分布式存储方法，其特征在于，所述分配算法原则包括强制循环散列、强制重排散列、优先循环散列和优先重排散列。

7.根据权利要求6所述的异构节点流式数据分布式存储方法，其特征在于，所述强制循环散列原则要求：满足所述存储节点P[x]≥R[y]要求的所述存储节点的数量必须大于同一数据源经过纠删运算后的数据块的总数量n，否则系统不工作，不进行数据分配和存储；进行数据源的分配时，将同一所述数据源的总数据块分别分配于n个不同的所述存储节点中；当下一个数据源中的数据块进行存储时，按照所述存储节点的存储能力从大到小的顺序，接着上一个数据源存储的最后一个所述存储节点，首尾相接的存储于步骤S3中获取的所述存储节点中。

8.根据权利要求6所述的异构节点流式数据分布式存储方法，其特征在于，所述强制重排散列原则要求：满足所述存储节点P[x]≥R[y]要求的所述存储节点的数量必须大于同一数据源经过纠删运算后的数据块的总数量n，否则系统不工作，不进行数据分配和存储；进行数据源的分配时，将同一所述数据源的总数据块分别分配于n个不同的所述存储节点中；每一个所述数据源中的数据块进行存储时，均按照所述存储节点的剩余存储能力从大到小的顺序，从所述存储节点集群中从第一个所述存储节点开始进行分配。