[发明专利]一种异构节点流式数据分布式存储方法

说明书

一种异构节点流式数据分布式存储方法，利用流式数据的特征，对存储系统资源和数据流量进行匹配，从而实现对异构存储系统资源的更好利用；流式存储应用场景下，存储能力是以P[x]标记的，存储能力高的优先使用，整个系统中只要存在剩余的存储能力，就可以进行数据分配，不需要在系统扩容时候进行均衡；本发明根据不同的场景，选择不同的分配方式，可以保证数据更高的存储安全，或系统高吞吐，或系统资源高利用率，或减少在运行系统数量从而减少电力消耗。

技术领域

本发明涉及数据存储领域，尤其涉及一种异构节点流式数据分布式存储方法。

背景技术

现有技术中的分布式存储方案用于视频存储等流式数据的存储时，需要先生成视频文件，然后再将形成的视频文件散列存储于各存储磁盘中；流式存储方案中的数据产生速率是相对稳定并且有规律的；在上述文件存储的基础上叠加流式存储的控制方式，虽然可以实现均衡化，但却不能充分利用流式存储的特征，需要经常调度数据存储的分配，均衡度优先，对于存储节点的存储能力不同的系统，也不能实现数据和存储能力的匹配；当系统扩容时，原始节点中存储的数据不会均衡与新节点中，导致初步均衡状况将长期存在。并且，这种视频数据在大部分场合下均需要较长时间存储，但是不需要保持对数据的数据能力，这就到导致存储系统在进行视频数据存储时，造成一定程度的电力消耗的浪费。

现有技术中文件存储上叠加流式存储的控制方法，可以实现存储资源的均衡化，但仍存在以下缺点：需要经常调度分配存储的资源，对底层资源和计算资源会造成一定程度上的浪费；对于存储节点不同的系统，不能实现数据和存储能力的匹配，系统扩容时，会出现难以消除的不均衡情况；另外在视频文件进行存储时，仍然保持对数据的高速读取，造成存储系统的电力消耗。

发明内容

本发明的目的在于提供一种异构节点流式数据分布式存储方法，从而解决现有技术中存在的前述问题。

为了实现上述目的，本发明采用的技术方案如下：

一种异构节点流式数据分布式存储方法，包括以下步骤：

S1、异构存储节点为Node[0]，Node[1]···Node[N-1]，设置第x个节点的存储能力为P[x]；流式数据源为Stream[0],Stream[1]···Stream[S-1]，设置第y个数据源的数据存储要求为R[y]；

S2、根据所述流式数据源的码率和存储周期，计算所述流式数据源对存储节点存储空间的数据存储要求R[y]；

S3、获取存储节点列表中存储能力大于数据存储要求的存储节点集合，即获取满足P[x]≥R[y]要求的所述存储节点；

S4、按照分配算法原则，将所述流式数据源按照所述存储节点的存储能力从大到小的顺序分别分配于步骤S3中获取的所述存储节点集合中；判断所述存储节点集合能否完成所述流式数据源的存储，若所述存储节点集合可以满足所述流式数据源的存储，则将分配结果返回至所述存储节点，将所述数据源存储于所述存储节点集合中；否则，返回失败，所述存储节点不足以存储所述数据源。

优选的，所述流式数据源Stream和所述存储节点Node之间的分配关系：当增加所述存储节点列表中所述存储节点时，已经分配存储的所述流式数据源Stream不进行移动，对新增的所述流式数据源按照步骤S2～S4存储于新增后的所述存储节点列表的存储节点中；当减少所述存储节点列表中的所述存储节点时，将减少的所述存储节点中存储的所述流式数据源，按照上述步骤S2～S4存储于剩余的所述存储节点中。

优选的，所述数据源的存储采用纠删运算的方式进行计算：n＝k+m，

其中，k表示所述数据源的原始数据块的数量，m表示数据校验块的数量，n表示所述数据源经过纠删运算后的数据块的总数量。

优选的，所述流式数据源对存储节点存储空间的数据存储要求R[y]的计算公式为：