[发明专利]一种用于城市级数据中台的大数据支撑管理系统

说明书

本发明提供一种用于城市级数据中台的大数据支撑管理系统，涉及大数据技术领域，包括：大数据基础组件，包括：分析型数据库，用于构建区级数据湖、基础库和主题库，对结构化数据分析与存储；分布式数据库，用于对半结构化数据、非结构化数据和大对象数据进行存储查询；计算组件，用于实现实时数据的实时流式处理；大数据开发工具，包括：资源管理工具，用于对大数据基础组件中的资源统一管理；可视化工具，用于为城市运维中心的应用提供界面展示；中间件，用于为城市运维中心的应用提供分布式服务。本发明能处理结构化、非结构化和半结构化数据，还能对计算资源、存储资源和数据访问资源进行统一控制管理。

技术领域

本发明涉及大数据领域，尤其涉及一种用于城市级数据中台的大数据支撑管理系统。

背景技术

目前，数据、大数据以及移动终端极大的改变了人们的生产生活，对于服务业尤其如此，大数据应用正朝着通过移动终端随时随地展示用户、设备的实时状态和潜在需求的方向发展，尤其在各类信息化系统积累了大量的原始数据后，这种需求变得更加迫切。

大数据支撑管理系统在各个领域的应用越来越广泛，但是现有的大数据支撑管理系统中，无法通过基础组件同时满足对结构化数据、半结构化数据和非结构化数据进行处理，并且管理工具不够完善，无法满足对基础组件中的计算资源、存储资源以及数据访问资源进行统一控制管理。

发明内容

针对现有技术中存在的问题，本发明提供一种用于城市级数据中台的大数据支撑管理系统，具体包括：

大数据基础组件，所述大数据基础组件包括：

分析型数据库，用于构建所述城市级数据中台中的区级数据湖、基础库和主题库，并对结构化数据进行批量分析与存储；

分布式数据库，用于对半结构化数据、非结构化数据以及大对象数据进行存储和查询；

计算组件，用于实现实时数据的实时流式处理；

综合搜索引擎，用于为区级数据湖、基础库和主题库中存储的海量数据建立索引，并作为各部门对底层综合检索查询的搜索引擎；

大数据开发工具，连接所述大数据基础组件，所述大数据开发工具包括：

资源管理工具，用于对所述大数据基础组件中的计算资源、存储资源以及数据访问资源进行统一控制管理；

可视化工具，用于为所述城市级数据平台中的城市运维中心的应用提供界面展示；

运维监控工具，分别连接所述资源管理工具和所述可视化工具，用于提供统一的可视化运维监控界面，实现对所述大数据基础组件及所述资源管理工具和所述可视化工具的配置、管理和运维；

中间件，用于为所述城市级数据平台中的城市运维中心的应用提供分布式服务。

优选的，所述分析型数据库采用基于Hadoop平台的MapReduce计算框架实现对结构化数据进行批量分析与存储。

优选的，所述数据处理单元包括：

批处理子单元，用于编写分布式应用程序，运行在由若干商用机器组成的大集群上，实现所述大规模数据的并行运算；

离线处理子单元，用于优化迭代工作负载，提升复杂任务的所述大数据处理速度。

优选的，所述计算组件包括：

微批处理单元，用于将一批任务对应一个分布式弹性数据集，以实现实时数据的实时流式处理；和/或

事件驱动单元，用于逐条读取数据流中的所述实时数据，以实现实时数据的实时流式处理。

优选的，所述计算组件还包括一可视化管理界面，分别连接所述微批处理单元和所述事件驱动单元，用于对所述实时流式处理过程进行生命周期管理。