[发明专利]一种基于MPP构架的分布式关系型数据库

说明书

技术领域

本发明涉及数据库领域、大数据领域、分布式计算领域，为大数据处理提供一种基于关系型数据库的海量数据存储解决方案，支持OLTP和OLAP两种应用场景。

背景技术

信息技术在最近几年得到飞速发展，企业和社会的信息量呈几何形式增长，这为大数据的存储和处理带来巨大挑战，如何建设大数据集群，实现海量数据的存储，是大数据领域面临的首要问题。

基于hadoop开源大数据架构，是目前广泛被采用的解决方法，通过hadoop提供的分布式文件系统，可以解决PB级数据存储问题，同时通过hadoop生态圈下的产品，可以实现列式存储、数据仓库级的数据管理，部分解决海量数据存取问题，但hadoop提供的存储解决方案存在以下不足，一是不支持SQL业务。目前大量业务系统都基于SQL开发，无法顺利地迁移到hadoop平台。二是单进程并行写入能力不足。无论HDFS还是HBase其单进程都不具备并行写入能力，无法满足海量信息采集需要。

发明内容

PowerDB是一种基于单服务器开发的数据库系统，本发明要解决的技术问题是针对PowerDB关系型数据库，建立分布式环境的集群，通过采用MPP架构技术，各节点之间SharedNothing，保证单点出现故障时，不影响集群工作，集群可横向扩展，实现PB级数据存储，支持海量并行数据写入。

为满足基于SQL的海量数据存储需要，本发明提供一种基于MPP架构的分布式关系型数据库，该数据库是分布式架构，包括四个模块，分别是全局事务管理模块(Power-GTM)、负载均衡系统(Power-Proxy)、数据协调管理器(Power-COORD)、数据节点(Power-DataNode)；其中：

全局事务管理器负责全局事务处理，负载均衡系统负责集群的负载均衡管理，集群协调管理器用于协调各数据节点之间的工作，数据节点是基于PowerDB部署的关系数据库。

作为本发明的进一步改进，一个集群一般只有一个全局事务管理模块。

作为本发明的进一步改进，单个全局事务管理模块可以配置备用(StandBy)节点。

作为本发明的进一步改进，一个集群内可以有多个协调管理器。

作为本发明的进一步改进，数据节点烦人物理结构和逻辑结构保持与PowerDB完全一致，即在一台服务器下维护着单个关系数据库系统。

可选的，为提高集群可靠性，GTM提供主/备模式，通过GTM-Standby配置，可在集群中建立多个GTM节点，同一时间只有一个节点工作，数据通过流复制技术从GTM－host同步到GTM-Standby，当GTM-host发生单点故障时，GTM-Standby自动成为GTM-host，承担全局事务管理工作。

可选的，对于数据节点，其可靠性也是通过多节点冗余设计实现，即每个数据节点设计一到多个Standby节点，数据在写入过程中，通过流复制技术，同步到备用节点上，当出现单点故障时，系统自动进行切换，以保证集群7*24小时工作。

可选的，采用roundrobin算法进行建表操作，使分布式集群能最高效响应数据写入操作，考虑集群自身开销，对于N个数据节点的集群，相比单服务器应用，能获得约0.7*N的性能，满足海量数据高并发写入服务的需要。

可选的，用java开发的基于windows、Linux下的自动安装部署工具。

可选的，分布式集群管理工具主要包括远程登录与管理、查询分析管理器、集群监控工具等。

附图说明

图1为本发明的自主可控分布式关系数据库架构图；

图2为本发明的简单高效的分布式关系数据库集群。

具体实施方式

以下结合说明书附图对本发明进一步详细说明。应当理解为，此处所描述的实施例仅用于解释本发明，但并不限定本发明。

PowerDB是关系数据库系统，它基于开源数据库postgreSQL进行开发，PostgreSQL是一种支持并发作业、与ORACLE兼容较好的开源数据库系统，通过采用MVCC(多版本并发控制)机制，提高数据写入能力，通过将数据表空间切分成块，从而支持单机并发，PowerDB关系型数据库在保持postgreSQL内核不变情况下，对外部工具进行了开发，满足业务系统开发、DBA工作的需要，支持SQL2008标准。

(1)自主可控分布式关系数据库架构设计。

系统支持主流Linux、windows环境搭建，建议使用X86的硬件环境，以节约集群建设成本。