[发明专利]一种MongoDB数据库中细粒度的负载均衡方法及系统

说明书

本发明公开了一种MongoDB数据库中细粒度的负载均衡方法，其中，包括如下步骤：A系统收集数据库集群状态信息和数据库中每个collection的数据存储状态、操作信息。

技术领域

本发明涉及数据存储领域，尤其涉及一种MongoDB数据库中细粒度的负载均衡方法及系统。

背景技术

海量数据的出现和新数据量的急速增长，给数据的存储和管理带来了新的挑战。传统的关系数据库受限于其自身的数据模型和系统架构，难以满足这种需求。MongoDB数据库分布式架构和灵活的数据模型的出现和快速发展为这个问题的解决带来了机会。

在MongoDB数据库中，通常包含大量的、容量很大的集合(即， collection)，单个collection中的数据分布到多个节点上。在这种架构下，负载均衡方法对系统的性能影响非常大。设计良好的负载均衡方法，能有效的避免单节点中的瓶颈，充分发挥系统的整体性能。在MongoDB数据库中，默认的负载均衡方法是，根据同一个 collection在不同节点上分布的数据的大小，来确定数据是否均衡。这一策略同时应用于数据库中的所有的collection。它忽略了数据的访问模式(如Zipfian，均匀分布，混合模式等)，即热点数据的均衡问题。热点数据在集群节点的不均衡分布，会导致部分节点过载，而其余部分节点的资源没有得到充分利用，从而系统整体性能无法充分利用。针对这种情况，许多研究提出了基于数据访问方式，进行负载均衡。

现有的这些负载均衡方法不足之处在于，都是针对MongoDB数据库中的所有collection：试图通过同一种均衡方法，使得具有不同访问模式的各个collection都能够实现负载均衡。这对负载均衡算法来说，是极大的挑战。

发明内容

本发明提出了一种MongoDB数据库中细粒度负载均衡方法及系统。所谓细粒度，是指以数据库中的collection为粒度。本发明中的方法使得数据库中的每个collection都适合自身状态的负载均衡方法。该系统通过持续监测、收集当前MongoDB数据库中各个collection 状态参数，分析这些collection的工作特征。数据库的工作特征主要包括数据本身的特征(如最频繁访问数据的分布方式：正态分布、 Zipfian分布、混合分布等)，以及应用程序对数据库访问和操作的模式(如对数据库的应用是以读写操作为主，还是以写操作或者更新操作为主，以及操作频繁程度等)。基于数据库工作特征，该系统可以在无人工干预的情况下，自动地、自适应地从预设的均衡方法集合中匹配出最优的负载均衡方法，并下发执行。新均衡方法可以立即执行，也可以视实际业务需要，在业务空闲时执行。所谓自动，是指数据库中collection工作特征的感知以及均衡方法的匹配，无需人为干预；所谓自适应，是指最优方法匹配过程中，基于数据库中每个 collection的工作特征，是该collection独立地匹配到最优的均衡方法。

本发明的目的在于通过实施该方案，数据库系统可以针对不同的业务应用，自适应地采用最优均衡方法，减少和降低数据库维护成本和难度。

为了实现上述目的，本发明采用如下技术方案：

1.系统收集数据库集群状态信息和数据库中每个collection 的数据存储状态、操作信息等。

2.基于步骤1收集的数据，判断是否需要实施负载均衡策略。数据库中各个collection的工作状态和工作模式体现为一系列的状态参数，通过将当前各个collection的参数集合与预设的均衡阈值进行比较，判断当前的数据分布是否处于均衡状态。如果低于阈值，则判定为均衡，无需进行数据迁移；反之，则需要进行某种负载均衡调整。