[发明专利]数据存储方法和客户端代理

说明书

本发明提供一种数据存储方法和客户端代理，在客户端与存储设备之间设置至少一个客户端代理，任一客户端代理连接的存储设备包括：N个文件节点服务器和M个元数据节点服务器，M、N≥2；客户端代理接收到客户端的写请求时，复制写请求对应的第一目标文件至少一份，将第一目标文件及其复制文件写入不同的文件节点服务器，复制第一目标文件对应的第一元数据文件至少一份，更新第一元数据文件及其复制文件中的文件存储地址信息，将第一元数据文件及其复制文件写入不同的元数据节点服务器。本发明的客户端代理，结构简单，扩展性强，其数据存储方法具备高可用和容灾备份能力。

技术领域

本发明涉及计算机领域，特别涉及一种数据存储方法和客户端代理。

背景技术

随着信息化的深入开展，各行各业的业务系统所产生的数据越来越多，由于传统的集中式存储方案(集中式存储是指为待存储的数据制定一个特定的存储区域，如数据中心主机，将所有都存储在该区域中)将所有的数据均存储在数据中心主机上，若数据中心主机出故障，则整个系统无法存储和提取数据，即集中式存储方案相较于分布式数据存储，数据稳定性较低，故而分布式数据存储应运而生。

分布式数据存储系统既具有集群系统的可扩/缩容的特性，又可以进行分布式操作。因此，在数据存储量发生变化时，分布式数据存储系统能够通过增加/移除集群中的节点服务器(或数据存储节点)实现对分布式数据存储系统的扩/缩容。

在现有的分布式数据存储系统中，通常可以采用一致性哈希算法对集群进行分片，而后根据键值对数据(key-value)等进行存储。但是此种存储系统在存储数据量发生变化而需要增加/移除节点服务器时，由于一致性哈希算法的限制，使得相邻存储节点的键值(key)映射发生的变化，容易导致数据的丢失，集群扩展性差。

发明内容

有鉴于此，本发明提供一种数据存储方法和客户端代理，以解决分布式数据存储系统数据容易丢失和扩展性差的问题。

本发明提供一种数据存储方法，在客户端与存储设备之间设置至少一个客户端代理，任一客户端代理连接的存储设备包括：N个文件节点服务器和M个元数据节点服务器，M、N≥2；

客户端代理接收到客户端的写请求时，复制写请求对应的第一目标文件至少一份，将第一目标文件及其复制文件写入不同的文件节点服务器，复制第一目标文件对应的第一元数据文件至少一份，更新第一元数据文件及其复制文件中的文件存储地址信息，将第一元数据文件及其复制文件写入不同的元数据节点服务器。

一种客户端代理，在客户端与存储设备之间设置至少一个客户端代理，任一客户端代理连接的存储设备包括：N个文件节点服务器和M个元数据节点服务器，M、N≥2；

客户端代理接收到客户端的写请求时，复制写请求对应的第一目标文件至少一份，将第一目标文件及其复制文件写入不同的文件节点服务器，复制第一目标文件对应的第一元数据文件至少一份，更新第一元数据文件及其复制文件中的文件存储地址信息，将第一元数据文件及其复制文件写入不同的元数据节点服务器。

本发明的数据存储方法，通过设置客户端代理，将客户端的文件及其元数据文件(或复制)复制多份，然后分散保存到不同文件节点服务器和元数据节点服务器，即使一个节点出现故障，也不会丢失文件，使得整个系统具有高可用和容灾备份能力。

另一方面，本申请未采用哈希算法，而是将文件的存储地址保存到元数据文件中，当存储数据量发生变化而需要增加/移除节点服务器时，不受哈希算法的限制，文件的不会丢失，且该系统结构简单、易于扩展。

附图说明

图1为本发明存储系统第一架构图；

图2为本发明存储系统第二架构图；

图3为本发明存储系统第三架构图；

图4为本发明数据存储方法的流程图。