[发明专利]一种用于城市级数据中台的大数据支撑管理系统

权利要求书

1.一种用于城市级数据中台的大数据支撑管理系统，其特征在于，具体包括：

大数据基础组件，所述大数据基础组件包括：

分析型数据库，用于构建所述城市级数据中台中的区级数据湖、基础库和主题库，并对结构化数据进行批量分析与存储；

分布式数据库，用于对半结构化数据、非结构化数据以及大对象数据进行存储和查询；

计算组件，用于实现实时数据的实时流式处理；

综合搜索引擎，用于为区级数据湖、基础库和主题库中存储的海量数据建立索引，并作为各部门对底层综合检索查询的搜索引擎；

大数据开发工具，连接所述大数据基础组件，所述大数据开发工具包括：

资源管理工具，用于对所述大数据基础组件中的计算资源、存储资源以及数据访问资源进行统一控制管理；

可视化工具，用于为所述城市级数据平台中的城市运维中心的应用提供界面展示；

运维监控工具，分别连接所述资源管理工具和所述可视化工具，用于提供统一的可视化运维监控界面，实现对所述大数据基础组件及所述资源管理工具和所述可视化工具的配置、管理和运维；

中间件，用于为所述城市级数据平台中的城市运维中心的应用提供分布式服务。

2.根据权利要求1所述的大数据支撑管理系统，其特征在于，所述分析型数据库采用基于Hadoop平台的MapReduce计算框架实现对结构化数据进行批量分析与存储。

3.根据权利要求1所述的大数据支撑管理系统，其特征在于，所述计算组件包括：

微批处理单元，用于将一批任务对应一个分布式弹性数据集，以实现实时数据的实时流式处理；和/或

事件驱动单元，用于逐条读取数据流中的所述实时数据，以实现实时数据的实时流式处理。

4.根据权利要求3所述的大数据支撑管理系统，其特征在于，所述计算组件还包括一可视化管理界面，分别连接所述微批处理单元和所述事件驱动单元，用于对所述实时流式处理过程进行生命周期管理。

5.根据权利要求1所述的大数据支撑管理系统，其特征在于，所述可视化工具包括：

数据源管理单元，用于对所述大数据基础组件中的多种数据源进行分析并提供界面展示；

数据集管理单元，用于管理所述大数据基础组件中的多种数据源形成的数据集，并实现通过若干查询方式对所述数据集进行查询；

自助分析单元，用于供业务人员对所述大数据基础组件中的存储数据进行自助分析。

6.根据权利要求5所述的大数据支撑管理系统，其特征在于，所述查询方式包括：

SQL查询，和/或可视化查询，和/或Java查询，和/或存储过程查询，和/或多维查询。

7.根据权利要求1所述的大数据支撑管理系统，其特征在于，所述资源管理工具包括：

业务字典，用于提供可编程的元数据查询和管理操作；

资源管理单元，用于通过预设的管理方式对所述计算资源、所述存储资源以及所述数据访问资源进行管理；

文件管理单元，用于对所述大数据基础组件中的对象存储文件和HDFS文件进行管理。

报表集市单元，用于采集报表信息并通过目录的形式进行报表展示，以及对所述报表信息的内部逻辑和关联资产进行显示。

8.根据权利要求7所述的大数据支撑管理系统，其特征在于，所述管理方式包括：

资产检索，和/或资产可视化，和/或SQL采集，和/或资产编目，和/或数据标签。

9.根据权利要求1所述的大数据支撑管理系统，其特征在于，所述中间件包括：

分布式图数据库，用于存储若干分布式图，并为所述城市运维中心的应用提供毫秒级的分布式图查询以及分布式图修改的服务；

分布式消息服务单元，用于为所述城市运维中心的应用提供分布式发布订阅消息服务。

10.根据权利要求1所述的大数据支撑管理系统，其特征在于，所述运维监控工具包括：

集群管理单元，用于通过所述可视化运维监控界面，对所述大数据基础组件及所述资源管理工具和所述可视化工具进行集群管理；

操作单元，用于通过所述可视化运维监控界面，对所述大数据基础组件及所述资源管理工具和所述可视化工具进行关键指标功能的自定义和配置；

运维单元，用于提供巡检工具和信息收集工具，分别实现对所述大数据基础组件及所述资源管理工具和所述可视化工具的自动化检查以及配置信息和日志的收集；

日志管理单元，用于对平台日志进行收集和存储，并通过所述可视化运维监控界面进行日志的查询和分析；

多租户管理单元，用于对底层存储资源进行逻辑隔离，实现按部门、按数据来源和按业务主题对所述底层存储资源进行独立存储与分析。