[发明专利]一种基于城市大脑的数据仓库系统

说明书

本发明实施例提供一种基于城市大脑的数据仓库系统，包括：基于Hadoop的分布式文件系统、数据ETL、五层数据仓库、在线联机分析处理、基于Hadoop的分布式计算引擎和元数据；本发明采用基于Hadoop的分布式文件系统和计算引擎，构建分布式数据仓库系统，对多元异构数据进行存储，统一处理和分析；对数据仓库进行合理的分层，提升数据的复用率，基本保证数仓中本层的数据依赖于上一层的数据获取，避免每次新需求的出现都带来重复的工作量。

技术领域

本发明涉及数据仓库技术领域，具体涉及一种基于城市大脑的数据仓库构建方法和系统。

背景技术

城市大脑就是基于城市所产生的数据资源，利用人工智能、大数据、区块链、5G、物联网等新一代信息技术，为城市交通治理、公共安全、应急管理、城市卫生、旅游、环境保护、城市精细化管理等构建的一个人工智能中枢，推动建设并打通各类城市数字化管理平台，利用实时全量的城市数据，及时修正运行短板，优化城市公共资源，实现城市治理模式，服务模式和数字产业发展的高质量突破。

数据仓库技术在我国的发展很快，很多不同的行业如电信、银行、金融、保险、制造、零售等都建立了自己的数据仓库，其中最具代表性的当属电信运营商所构建的“经营分析系统”。当然，数据仓库的风险很大，这主要是因为数据仓库是面向分析的，所以把握住业务需求是成功实时数据仓库项目的前提。如果不能满足业务需求，数据仓库的技术实现再完美也没有意义；第二，必须从技术上保证数据可以高效而准确地从业务系统中获取，能够有效地对数据仓库中庞大的数据进行管理，以及针对企业不同层次的人员提供对数据灵活而有效的访问。另外，数据仓库牵扯到多个部门，多个系统，如何有效获取高层领导的支持，协调各方资源，有效的进行项目管理也是影响数据仓库项目成败的关键。目前对于数仓还没有一个统一的规范，各家公司分别按照自己的需求选择合适的分层和建模方式。

随着互联网数据的暴增，人们也逐渐意识到数据的重要性，科学数据处理以及商业智能数据分析以及构建城市一体化的城市大脑的数据分析需求的应用越来越普遍，传统的数据库已经不能满足大数据的存储与处理的需求。目前针对Hadoop生态系统的数据仓库的建设也没有一个明确的规范，故本文探索一个用于城市大脑的数据仓库构建方法和系统。

发明内容

因此，为了能够业务需求，本发明实施例提供一种城市大脑的数据仓库系统，该方法应用于城市大脑场景下，通过引入量子计算技术，利用量子计算的速度优势，提高AI模型的训练效率，满足日益增长的城市运行数据以及新业务场景的需求。其具体技术方案如下：

为实现上述目的，本发明实施例提供一种基于城市大脑的数据仓库系统，包括：基于Hadoop的分布式文件系统、数据ETL、五层数据仓库、在线联机分析处理、基于Hadoop的分布式计算引擎和元数据；其中，所述分布式文件系统用于将所述数据源以文件形式进行存储；所述五层数据仓库用于对所述数据源进行统计和存储；所述在线联机分析处理用于在预设时间段内对多数分析要求做出反应；于Hadoop的分布式计算引擎用于对经过数据ETL的数据源进行计算；所述元数据是描述数据的数据，用于识别资源；评价资源；追踪资源在使用过程中的变化；实现简单高效地管理大量网络化数据；实现信息资源的有效发现、查找、一体化组织和对使用资源的有效管理。

进一步的，所述五层数据仓库包括：原始数据层、明细粒度事实层、数据服务公共粒度层、数据主题累积层和数据应用层；其中，

所述原始数据层用于从数据源采集原始数据并对其进行存储；

所述明细粒度事实层用于以业务过程作为建模驱动，基于每个具体的业务过程特点，构建最细粒度的明细层事实表；

所述数据服务公共粒度层用于以分析的主题对象作为建模驱动，基于上层的应用和产品的指标需求，构建公共粒度的汇总指标事实表，以宽表化手段物理化模型；构建命名规范、口径一致的统计指标，为上层提供公共指标，建立汇总宽表、明细事实表；

所述数据主题累积层用于汇总每天的指标事实表，进行宽表化处理；

所述数据应用层用于存放数据产品个性化的统计指标数据。