[发明专利]应用于分布式存储集群的数据存储方法及分布式存储集群

说明书

本发明公开了一种应用于分布式存储集群的数据存储方法及分布式存储集群，方法包括：当客户端接收到写入请求时，使用预设算法对待写入数据处理，得到多个数据片段；客户端将各个数据片段分别映射到后端相应的存储介质；在用于管理存储介质的进程指示下，客户端将数据片段以消息形式发送到与该数据片段相映射的存储介质，由该存储介质将该数据片段存储。本发明应用于分布式存储集群的数据存储方法及分布式存储集群，由客户端对待写入数据进行处理，得到多个数据片段，并将各个数据片段分别映射并传输到相应的存储介质而进行存储，对待写入数据的处理以及分发到存储介质由客户端进行，与现有技术相比能够减轻存储数据时后端的处理压力。

技术领域

本发明涉及数据存储技术领域，特别是涉及一种应用于分布式存储集群的数据存储方法。本发明还涉及一种分布式存储集群。

背景技术

随着大数据时代的到来，互联网领域每天产生的数据量越来越大，由此分布式存储集群技术被应用。分布式存储集群是将多个存储服务器构建网络拓扑，形成存储服务器集群，在存储集群中通过相关算法提供数据的读取、写入以及落盘功能，分布式存储集群是利用多台存储服务器分担存储负荷。

现有的分布式存储集群，客户端将接收到的待写入数据直接发送到后端，由后端运行的处理进程对数据进行冗余处理、打包分发以及落盘操作，这使得后端处理进程的负载比较大，如果集群规模超过一定程度，影响就会非常明显，甚至导致整个集群陷入崩溃。

发明内容

本发明的目的是提供一种应用于分布式存储集群的数据存储方法以及一种分布式存储集群，与现有技术相比减轻了存储数据时后端的处理压力。

为实现上述目的，本发明提供如下技术方案：

一种应用于分布式存储集群的数据存储方法，包括：

当客户端接收到写入请求时，使用预设算法对待写入数据处理，得到多个数据片段；

所述客户端将各个所述数据片段分别映射到后端相应的存储介质；

在用于管理所述存储介质的进程指示下，所述客户端将所述数据片段以消息形式发送到与该数据片段相映射的所述存储介质，由该所述存储介质将该数据片段存储。

优选的，所述客户端将各个所述数据片段分别映射到后端相应的存储介质包括：

所述客户端结合所述数据片段的类型和大小，根据所述数据片段所属文件的索引节点号，通过哈希算法得到目标存储介质的编号，将所述数据片段映射到所述目标存储介质。

优选的，在用于管理所述存储介质的进程指示下，所述客户端将所述数据片段以消息形式发送到与该数据片段相映射的所述存储介质包括：

通过所述客户端与用于管理所述存储介质的进程之间建立的通信链接，所述客户端将所述数据片段以消息形式发送到与该数据片段相映射的所述存储介质。

优选的，还包括：当所述客户端接收到所述写入请求时，所述客户端将所述待写入数据存储到本地缓存器内，并向上层应用返回指示写入成功的信息。

优选的，还包括：当所述存储介质将对应的所述数据片段完成存储后，所述存储介质向所述客户端发送指示写入成功的信息，所述客户端将该指示写入成功的信息返回上层应用。

一种分布式存储集群，包括客户端、若干存储介质和与各所述存储介质分别对应的若干管理模块；

所述客户端用于当接收到写入请求时，使用预设算法对待写入数据处理，得到多个数据片段，并将各个所述数据片段分别映射到后端相应的存储介质，并在用于管理所述存储介质的进程指示下，将所述数据片段以消息形式发送到与该数据片段相映射的所述存储介质；

所述管理模块用于运行管理所述存储介质的进程；