[发明专利]一种基于可扩展节点集群的大数据分析处理系统

摘要

本发明公开了一种基于可扩展节点集群的大数据分析系统，其特征在于，其包括OLAP数据库层、OLAP服务器层和应用层，所述的OLAP数据库层采用可扩展节点集群的分布式数据库集群，按照维表和事实表方式组织数据；所述的OLAP服务器层将来自OLAP数据库层的底层数据定义为数据立方体，数据立方体通过OLAP多维引擎与应用层交互；所述的应用层可与OLAP服务器层交互，应用层将用户查询请求发送给OLAP服务器层，OLAP服务器层获取并解析用户查询请求，然后将查询结果返回给应用层。

主权项

1.一种基于可扩展节点集群的大数据分析处理系统，其特征在于，其包括OLAP数据库层、OLAP服务器层和应用层，所述的OLAP数据库层采用可扩展节点集群的分布式数据库集群，按照维表和事实表的方式组织数据，将来自OLAP数据库层的底层数据定义为数据立方体，所述的数据立方体通过OLAP多维引擎与所述的应用层交互；所述的OLAP服务器层用于数据的存储和调取，其包括：设置有多个数据节点的备份库和服务器，该服务器用于临时存储数据文件并向所述备份库请求可用的数据节点；其中，所述的OLAP多维引擎包括：ROLAP设计器，用于定义多个区域，所述ROLAP设计器至少包括其中的一数据集区域和一设计面积区域；信息获取器，用于在所述数据集区域获取多维数据库的数据模式信息，并将所述获取的数据模式信息以列表的方式在所述设计面积展现；模式分析器，用于根据所述获取的数据模式信息，建立多维数据库的ROLAP分析模式；扩展点集群组织器，用于根据已建立的多维数据库的ROLAP分析模式组织多维数据库的扩展点集群模型，并将组织的多维数据库的所述扩展点集群模型存储于语义对象存储文件中；信息提示器，用于当所述数据集区域的数据集节点上不存在输入的事实表名称时，提示获取信息失败；其中，所述的查询请求基于关系数据库的ROLAP，包括：接收装置，用于接收用户的数据查询请求；确定装置，用于确定所述数据查询请求所对应的待查询数据的标识信息；查询路径装置，用于根据确定出的所述标识信息，在预先建立的多维数据关系模型中，确定该标识信息所对应的查询路径；查询处理装置，用于根据所述查询路径以及所述标识信息进行数据查询，生成查询结果；数据关系装置，用于预先选定数据库中的事实表，将选定出的所述事实表作为主数据集，并确定该主数据集中的各属性信息，根据所述各属性信息，在所述数据库中确定各属性信息对应的各关联数据表，其中，所述关联数据表包括事实表和/或维表；将确定出的各关联数据表作为子数据集，建立各子数据集与所述主数据集之间的数据关系，形成所述多维数据关系模型；其中，所述的服务器与备份库协同合作，所述的服务器获取所述主数据集的各单个数据块并依据单个数据块的大小分块以得到多个数据块，将第一数据块和第二数据块发送至第一可扩展节点，所述备份库控制所述第一可扩展节点选取与其相邻的第二可扩展节点，将所述第一数据块发送至所述第二可扩展节点；并将第三数据块发送至第一可扩展节点，所述备份库用于控制第一可扩展节点将所述第二数据块发送至所述第二可扩展节点，第二可扩展节点选取与其相邻的第三可扩展节点，将所述第一数据块发送至所可扩展述第三节点；重复上述过程直至全部数据块发送完毕，并使每个数据块创建相应的副本；所述的应用层可与所述的OLAP服务器层交互，应用层将用户查询请求发送给OLAP服务器层，OLAP服务器层获取并解析用户查询请求，然后将查询结果返回给所述应用层。