[发明专利]一种基于分布式数据仓库的社保数据联机分析处理系统

摘要

本发明公开了一种基于分布式数据仓库的社保数据联机分析处理系统，包括与多维分析服务器进行交互的展示层；对MDX语句进行解析，并使用解析后的语句执行查询计算的维度层；对聚集结果的缓存进行管理的星状层；负责接收星状层发出的SQL语句，在数据仓库中执行，并将结果返回的存储层。本发明系统的数据仓库通过分布式文件系统实现，而分布式文件系统集群由云计算平台统一管理，实现资源的负载均衡。系统通过功能上的多层分发，实现了对存储海量数据的分布式数据仓库的统一查询接口，以类似JDBC的查询方式，完成对于数据立方体多个维度的操作。

主权项

一种基于分布式数据仓库的社保数据联机分析处理系统，其特征在于，从上至下划分为4层，包括：展示层，是用户与多维分析服务器进行交互的层次，将分析计算的结果展现给用户，而该展示层主要通过前端工具提供服务，通过查询接口得到多维分析结果，其实现的查询接口，在建立连接时，能够像注册JDBC驱动一样注册连接驱动，通过通用接口Connection加载指定的OLAP驱动，随后获取连接，获取连接后，通过创建声明对象执行查询得到结果；维度层，主要对MDX语句进行解析，并使用解析后的语句执行查询计算；一个MDX查询在得到最终结果之前，往往需要经过数次迭代求值计算，并对每次的计算结果汇总处理；在该维度层中，首先，计算结果集中每个轴包含的成员列表，再计算需要聚集计算的单元格，最后将聚集计算请求批量提交到星状层；MDX查询结果能够在维度层中缓存，如果用户需要对查询结果作进一步操作，系统就不需要重新处理完整的查询请求，能够直接在维度层中缓存的查询结果基础上进行处理，得到新的查询结果，从而提高解析查询的效率；星状层，主要对聚集结果的缓存进行管理；该星状层处理维度层发出的提取聚集结果请求，在收到请求后，首先在缓存的聚集结果中搜索，如果请求结果存在，或缓存中现有结果能够经过计算后生成请求对应的结果，就能够直接从缓存中提取或者计算生成结果；如果不能通过缓存提供请求结果，则将请求转化为SQL查询，提交给存储层处理；星状层获得存储层的计算结果后，再将结果加入缓存；存储层，负责接收星状层发出的SQL语句，在数据仓库中执行，并将结果返回给星状层；存储层作为永久存储，以数据仓库为基础，拥有全部的业务数据；作为高速缓存的NoSQL内存数据库，则存储着常用的社保业务数据。