[发明专利]分布式并行数据库资源管理方法

说明书

本发明公开了一种分布式并行数据库资源管理方法，通过基于分散非结构化P2P网络关联的内容分发器，保证分布式并行处理数据库系统在动态变化的环境中的高性能及稳定性；通过采用基于有向图Lookahead的资源查找算法，令查询节点缓存两级邻居节点的资源信息，解决因冗余消息过多而导致的网络堵塞问题，降低因差异化配置导致的资源不均衡而产生的“木桶效应”；通过采用linuxcgroups资源管理机制，充分考虑多租户及基于多因素的资源调度策略，减少资源碎片，更好地满足分布式并行处理数据库存储或热点处理问题。

技术领域

本发明属于分布式并行处理数据库资源优化技术领域，尤其涉及一种分布式并行数据库资源管理方法。

背景技术

大规模分布式并行处理数据库(MPP数据库)作为企业数据仓库核心基础软件，广泛为各类分析型应用提供结构化数据支撑。目前主流的大规模分布式并行处理(MPP)数据库均采用P2P(Peer-to-Peer)对等部署方式，通过节点之间的相互协作实现系统功能，从而充分利用了网络资源，具有良好的扩展性、并发性和自治性等特点。P2P网络资源包括节点计算资源和分散在节点上的数据资源。如何高效地管理和利用节点资源和数据资源是MPP数据库应用的基础性关键问题。特别是，P2P网络对等、分布式等特点以及节点的异构性、动态性给资源的有效管理带来了很多挑战和困难。一方面，计算及存储节点随着硬件配置的不同，处理效率及资源占用率呈现较大的差异，如果处理不妥当，容易导致“木桶效应”，从而影响数据库整体性能；另一方面，分布式环境下用户访问量、数据变化量以及用户操作模式都是随时变化，容易导致数据库系统出现存储或者处理热点问题。为了提高系统整体操作性能，大规模分布式并行处理数据库必须具有动态弹性的能力来对系统资源以及系统负载进行调整。

目前，国内外很多的研究机构都对分布式资源管理技术进行过大量的研究，主要从资源分配、资源调度及资源整合等方面进行节点负载均衡研究分析，并且取得了一定研究成果。例如发明专利《一种分布式数据库负载均衡预测方法和预测分析器》采用多层循环神经网络模型的方法对本地数据节点的负载指标进行预测；发明专利《对等部署的分布式数据库资源管理与负载调节方法》以及发明专利《基于对等部署的分布式数据库查询优先级管理的实现方法》通过划分资源组，并在各个执行节点上设置一致优先级的方式进行资源管理。现有的负载均衡算法都是在某一个或是某些方面对负载均衡进行了改进，进而来提高系统的效率，大多数算法仍然存在一些缺陷：

(1)有些算法只考虑了部分系统资源的使用情况，不能全面反映节点的真实负载；

(2)有些算法实现起来太复杂，占用了较多的系统资源，增加了系统的负载；

(3)有些算法在进行资源收集时，在网络上产生了较多的数据，占用了较大的网络带宽；

(4)在实际应用中，考虑到数据安全性和性能问题，大型企业很少将数据库部署到云端，分配资源时，将数据库作为整体资源分配给中、小型租户，缺乏灵活性，若租户需要定制若干模式或者数据表，现有的资源分配策略将无法满足租户的需求；

(5)基于负载均衡的单因素资源调度策略具有一定的局限性，不能解决服务器负载相近时的资源调度问题；

(6)在选择分配物理资源的服务器时，采用空间适应原则，忽略了剩余资源被潜在租户利用的可能性，若剩余的资源太少，不能满足任何租户的需求，容易形成资源碎片，造成资源浪费。

发明内容

发明目的：针对以上问题，本发明提出一种分布式并行数据库资源管理方法，解决分布式并行处理数据库因计算及存储节点差异化配置而导致的性能不均衡、不稳定的问题。