[发明专利]一种大数据管理系统

说明书

技术领域

本发明涉及一种大数据管理系统，尤其涉及一种基于云计算技术的大数据管理系统。

背景技术

随着互联网、移动互联网、物联网等应用的飞速发展，全球数据量出现了爆炸式增长。IDC公司发布的数字宇宙研究报告称，全球信息总量每两年就会增长一倍，2011年全球被创建和被复制的数据总量为1.8ZB。IDC认为，到2020年全球所有IT部门拥有服务器的总量将会多出10倍，所管理的数据将会比现在多出50倍。预计到2020年，全球将总共拥有35ZB的数据量。数据量的飞速增长预示着我们现在已经进入了一个大数据的时代。然而，当前不仅仅是数据规模越来越大，而且数据类型多和处理实时性要求都极大地增加了大数据处理的复杂度。大数据给传统的数据管理系统带来了如下技术挑战：1)传统的数据管理系统一般只能处理TB级别的数据量，然而，大数据往往PB级别甚至EB级别，并行数据库大多支持有限扩展，一般可扩至数百节点的规模，尚未有数千节点规模的应用案例，传统数据管理系统无法处理大数据的高扩展性和海量需求；2)大数据涵盖了各种类型的数据，包括结构化、半结构化和非结构化数据，不同类型数据的分析不尽相同，传统数据管理处理往往只针对某一种类型数据和管理比较单一；3)传统数据管理系统处理能力的提高依赖于CPU/内存/存储/网络的更新升级，而大数据的处理模式是一种基于“scale-out”的模式，它的性能提高依赖于连续的往分布式系统上增加低价的计算和存储节点；4)传统的数据管理系统是以处理器为中心，而大数据环境下，需要采取以数据为中心的管理系统，减少数据移动带来的开销，传统的数据管理系统，已经不能适应大数据的需求。

总之，相比传统的关系数据库，大数据具有数据量巨大、结构复杂、类型众多等特点，这对大数据的存储、处理与分析提出了新的挑战，而且，大数据问题最近才被人们意识到，现有的管理系统不能很好地实现大数据的有效管理。

发明内容

本发明目的在于提供一种基于云计算技术的大数据管理系统。

本发明所述的一种大数据管理系统，其特征在于，包括：

大数据应用端，用于实现用户对大数据的应用层，提供应用接入；

数据服务提供模块，用于实现用户进行云计算服务的提供层，提供服务接入；

归总访问接口模块，用于实现云计算服务的统一接入；

分布式并行/纵向调度模块，用于实现并行与纵向的时分立体调度，形成网格运算前端；

网格运算查询分析执行引擎，用于对实行时分立体调度的网格式分布进行引导运算；

智能挖掘数据模块，用于根据用户预设的需要，采用特征启发式数据挖掘；

离散式分布数据存储端，用于存储大数据。

所述的分布式并行/纵向调度模块，包括横向并行Hadoop结构单元和纵向HBase结构单元。

所述的离散式分布数据存储端，包括HBase结构数据库和HDFS结构数据库。

所述的离散式分布数据存储端，包括MPP关系数据库和Hadoop结构数据库。

本发明优点在于，应用云计算巨量大数据的时候，可以实现时分立体调度的横向并行和纵向的网格式分布结构，提高了数据管理的应用，并实现数据的立体化分布。增加智能挖掘数据模块还可以提高数据搜索和运算的效率。

附图说明

图1是本发明实施例一的大数据管理系统结构示意图。

图2是本发明实施例二的大数据管理系统结构示意图。

具体实施方式

实施例一

如图1所示，本发明的基于云计算的大数据管理系统，包括了：

用于实现用户对大数据的应用层，提供应用接入的大数据应用端；用于实现用户进行云计算服务的提供层，提供服务接入的数据服务提供模块；用于实现云计算服务的统一接入的归总访问接口模块；用于实现并行与纵向的时分立体调度，形成网格运算前端的分布式并行/纵向调度模块；用于对实行时分立体调度的网格式分布进行引导运算的网格运算查询分析执行引擎；用于根据用户预设的需要，采用特征启发式数据挖掘的智能挖掘数据模块；和用于存储大数据的离散式分布数据存储端。

为了更好实现横向并行与纵向分布的时分立体调度，所述的分布式并行/纵向调度模块，包括横向并行Hadoop结构单元和纵向HBase结构单元。

对于大数据的存储端可以有多种结构方式，所述的离散式分布数据存储端，包括HBase结构数据库和HDFS结构数据库。

实施例二