[发明专利]一种基于城市大脑的数据仓库系统

权利要求书

1.一种基于城市大脑的数据仓库系统，其特征在于，包括：基于Hadoop的分布式文件系统、数据ETL、五层数据仓库、在线联机分析处理、基于Hadoop的分布式计算引擎和元数据；其中，所述分布式文件系统用于将所述数据源以文件形式进行存储；所述五层数据仓库用于对所述数据源进行统计和存储；所述在线联机分析处理用于在预设时间段内对多数分析要求做出反应；于Hadoop的分布式计算引擎用于对经过数据ETL的数据源进行计算；所述元数据是描述数据的数据，用于识别资源；评价资源；追踪资源在使用过程中的变化；实现简单高效地管理大量网络化数据；实现信息资源的有效发现、查找、一体化组织和对使用资源的有效管理。

2.根据权利要求1所述的基于城市大脑的数据仓库系统，其特征在于，所述五层数据仓库包括：原始数据层、明细粒度事实层、数据服务公共粒度层、数据主题累积层和数据应用层；其中，

所述原始数据层用于从数据源采集原始数据并对其进行存储；

所述明细粒度事实层用于以业务过程作为建模驱动，基于每个具体的业务过程特点，构建最细粒度的明细层事实表；

所述数据服务公共粒度层用于以分析的主题对象作为建模驱动，基于上层的应用和产品的指标需求，构建公共粒度的汇总指标事实表，以宽表化手段物理化模型；构建命名规范、口径一致的统计指标，为上层提供公共指标，建立汇总宽表、明细事实表；

所述数据主题累积层用于汇总每天的指标事实表，进行宽表化处理；

所述数据应用层用于存放数据产品个性化的统计指标数据。

3.根据权利要求2所述的基于城市大脑的数据仓库系统，其特征在于，所述原始数据包括：地理信息系统、政务系统、物联网设备的日志数据和结构化数据。

4.根据权利要求3所述的基于城市大脑的数据仓库系统，其特征在于，所述统计指标数据由所述数据主题累积层和所述数据服务公共粒度层获取，当某些统计指标不能由所述数据主题累积层和所述数据服务公共粒度层获取时，通过所述原始数据层获取。

5.根据权利要求1所述的基于城市大脑的数据仓库系统，其特征在于，所述五层数据仓库采用开源的Hive分层数据仓库。

6.根据权利要求2所述的基于城市大脑的数据仓库系统，其特征在于，所述明细粒度事实层还包括关系模型建模层和维度模型建模层，所述关系模型建模层用于构建数据库的关系模型，所述维度模型建模层用于构建数据的维度模型；对所述数据库的关系模型进行设计构建时，采用三范式的规范要求；对所述维度模型进行构建时，以一个事实表为中心进行表数据表的组织。

7.根据权利要求6所述的基于城市大脑的数据仓库系统，其特征在于，所述数据表包括维度表和事实表；所述维度表用于保存对事实的描述信息；所述事实表包括事务性事实表，周期型快照事实表，累积型快照事实表。

8.根据权利要求6或7所述的基于城市大脑的数据仓库系统，其特征在于，所述维度模型采用星型模型；所述维度模型建模层包括：

业务选择模块，用于在业务过程系统中，选取特定业务相关的业务线；

声明数据粒度模块，用于表明数据仓库的数据中保存数据的细化程度和综合程度的级别；

维度确定模块，用于描述业务事实；

事实确认模块，用于确认业务中的度量值。

9.根据权利要求2所述的基于城市大脑的数据仓库系统，其特征在于，所述数据应用层还包括对数据进行打标签，使用spark的机器学习算法进行分类。

10.根据权利要求1所述的基于城市大脑的数据仓库系统，其特征在于，所述基于Hadoop的分布式文件系统包括Kafka存储介质，用于对应不通的主题，不同的主题之间通过Sparkstreaming进行消息的处理。