[发明专利]一种数据存储方法和系统

说明书

本发明公开了一种数据存储方法和系统，涉及计算机技术领域。该方法的实施方式包括：将多个服务器进行分组，得到多个服务器组，将待存储的数据进行分组，得到多个待存储数据组；确定待存储数据组与服务器组之间的存储映射关系，并根据存储映射关系进行存储；根据各服务器组的负载值确定第一服务器组和第二服务器组；确定存储在第一服务器组上的第一目标数据，以及确定存储在第二服务器组上的第二目标数据；更新存储映射关系，将第一目标数据迁移到第二服务器组、将第二目标存储数据迁移到在第一服务器组。该实施方式能够有效缓解存储压力，节省服务器资源，同时能够动态调整数据的存储位置，自动分散热点数据和访问压力，实现负载均衡化。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据存储方法和系统。

背景技术

随着互联网技术的发展，数据呈现爆炸式增长，数据的存储技术对于应对海量数据的情况变得尤为重要，具体来说，对数据存储具有访问量大、数据量大、高并发等要求。目前，常用的数据存储系统为集中式数据系统，即将数据存储在每台服务器上。这种存储系统对服务器的内存资源消耗很大，并且每台服务器存储相同的数据也是对存储资源的浪费，总而言之这种存储系统已经无法满足大规模数据存储的需求。

发明内容

有鉴于此，本发明实施例提供一种数据存储方法和系统，能够解决在大数据量的情况下，服务器内存不能全量存储数据的问题，有效缓解服务器内存压力，节省服务器资源，并保证确保数据存储的可靠性、安全性和存取效率；同时能够自动调整数据存储位置，自动分散热点数据和访问压力，实现负载均衡化。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据存储方法，该方法包括多个服务器，该方法还包括：

将所述多个服务器进行分组，得到多个服务器组，按照预设的规则将待存储的数据进行分组，得到多个待存储数据组；

确定所述待存储数据组与所述服务器组之间的存储映射关系，并根据所述存储映射关系将待存储数据组存储在对应的服务器组上；

确定各服务器组的负载值，并根据所述负载值从所有服务器组中确定第一服务器组和第二服务器组；

根据预设的第一条件，确定存储在第一服务器组上的第一目标数据，以及根据预设的第二条件，确定存储在第二服务器组上的第二目标数据；

更新所述存储映射关系，将第一目标数据迁移到第二服务器组以及将第二目标存储数据迁移到第一服务器组。

可选地，确定各服务器组的负载值包括：对于每一服务器组，确定所述服务器组中每个服务器的负载指标值；根据所述负载指标值以及其对应的权重，确定每个服务器的负载值；根据所述每个服务器的负载值，确定所述服务器组的负载值。

可选地，所述负载指标值包括以下一种或多种：cpu使用率、内存使用率和接口响应时间。

可选地，根据所述负载值从所有服务器组中确定第一服务器组和第二服务器组包括：将所有服务器组中负载值大于或等于预设阈值的服务器组作为第一服务器组；根据各服务器组的负载值，确定负载平均值；将所有服务器组中负载值小于所述负载平均值的服务器组作为第二服务器组。

可选地，根据预设的第一条件，确定存储在第一服务器组上的第一目标数据包括：

确定第一目标数据的数量；

当第一服务器组的数量为1时，从所述第一服务器组上获取第一数据，所述第一数据的数量等于所述第一目标数据的数量；

当第一服务器组的数量大于1时，根据各第一服务器组的负载值与所述负载平均值的差值，确定各第一服务器组之间的差值比；根据所述差值比，从各第一服务器组上获取第一数据，将所述第一数据作为第一目标数据，其中，所述第一数据之间的数量比等于所述差值比，且所述第一数据的数量之和等于所述第一目标数据的数量；