[发明专利]一种分布式存储方法、服务器及客户端

说明书

本申请提供一种分布式存储方法、服务器及客户端。该存储方法包括：服务器接收客户端发送的写请求，其中，所述写请求由客户端通过第一负载均衡策略发送，所述写请求包括待写入的目标数据；所述服务器响应所述客户端发送的所述写请求，根据第二负载均衡策略将所述目标数据写入多个磁盘中的一个磁盘。本申请实施例通过第一负载均衡策略和第二负载均衡策略，实现写入性能随服务节点数量线性扩展，并且避免了merge对写性能的影响，从而提高了服务节点性能的稳定性。

技术领域

本申请涉及分布式存储技术领域，具体而言，涉及一种分布式存储方法、服务器及客户端。

背景技术

随着互联网大数据时代的来临，人类面临着前所未有的信息过载问题，对海量数据的存储和检索需求成为困扰人们的难题。基于倒排索引存储方案是目前业界公认的最强大、最高效的，所以基于倒排索引的检索引擎基本成为了业界公认的标准，例如比较成熟的开源组件有ElasticSearch、Solr等。

在当前信息爆炸的时代，现有的基于倒排索引的检索引擎随着索引数据量越来越大，会导致服务节点的性能不稳定的问题。

发明内容

本申请实施例的目的在于提供一种分布式存储方法服务器及客户端，用以解决现有技术中当有大量的索引数据时，服务节点的性能不稳定的问题。

第一方面，本申请实施例提供一种分布式存储系统，包括：至少一个客户端和多个服务器；所述客户端用于：通过第一负载均衡策略向所述多个服务器中的一个发送写请求，所述写请求包括待写入的目标数据；所述服务器用于：响应所述客户端发送的所述写请求，通过第二负载均衡策略将所述目标数据写入多个磁盘中的一个磁盘。

本申请实施例通过第一负载均衡策略和第二负载均衡策略，实现写入性能随服务节点数量线性扩展，并且避免了merge对写性能的影响，从而提高了服务节点性能的稳定性。

进一步地，所述服务器的磁盘中存储有一个索引的一个主分片和/或副本分片；所述服务器用于：通过第二负载均衡策略将所述目标数据写入多个磁盘中的一个磁盘，包括：通过所述第二负载均衡策略确定存储所述目标数据的目标磁盘；将所述目标数据写入所述目标磁盘存储的索引的主分片。

本申请实施例通过第二负载均衡策略，使得数据能够均匀的写入到服务器中的各个磁盘中。

进一步地，一个索引的主分片的个数等于所述多个服务器的磁盘总数，一个索引的不同主分片存储在不同的磁盘上。提高了服务器中磁盘的利用率。

进一步地，所述服务器还用于：若当前用于存储新数据的第一索引的存储容量达到预设阈值，则创建第二索引的主分片，所述第二索引为替换所述第一索引作为用于存储新数据的索引。本申请实施例通过固定容量自动分区机制，排除了merge对写性能的影响，从而提高了写性能的稳定性。

进一步地，所述客户端用于：通过第一负载均衡策略向所述多个服务器中的一个发送写请求，包括：所述客户端通过轮询算法向所述多个服务器中的一个发送写请求。通过轮询算法使得多个服务器共同分担数据写入的压力，避免的客户端到服务端之间存在瓶颈的问题。

进一步地，所述服务器用于：通过第二负载均衡策略将所述目标数据写入多个磁盘中的一个磁盘，包括：通过所述第二负载均衡策略确定存储所述目标数据的目标磁盘；将所述目标数据存入缓存区；通过flush方式将所述目标数据从所述缓存区写入所述目标磁盘。本申请实施例通过将目标数据存储缓存区，然后从缓存区将目标数据flush到目标磁盘，减少了服务器的IO次数。

进一步地，所述服务器还用于：在将所述目标数据写入所述缓存区时，将所述目标数据写入事务日志区。防止服务器意外宕机造成缓存区数据丢失。

进一步地，所述服务器还用于：当所述服务器由异常宕机到恢复正常工作时，通过所述事务日志区中恢复数据。保证了数据的安全性。