[发明专利]一种应用于智慧城市的大数据资源管理系统

说明书

技术领域

本发明涉及大数据技术领域，尤其涉及一种应用于智慧城市的大数据资源管理系统。

背景技术

随着国家治理体系和治理能力现代化的不断推进，随着“创新、协调、绿色、开放、共享”发展理念的全面贯彻，城市被赋予了新的内涵，对智慧城市建设提出了新的要求。国家互联网信息办在全面调查和摸清全国智慧城市建设情况的基础上，面对智慧城市建设遇到的新挑战和新要求，提出了新型智慧城市的概念。智慧城市是指在信息技术和互联网相结合的基础上，通过各种智能化的应用，提升城市基础设施的运作效率，提升城市运行管理和公共服务水平，提高人们的生活质量；大数据是支撑智慧城市发展的重要信息资源，城市运行体征是通过数据进行量化表现出来的，通过大数据技术收集各部门有关城市运行体征的数据，可帮助城市管理者进行数据汇总、分析，最终对城市体征的量化形态进行管理。

智慧城市大数据资源管理系统是以形成新型智慧城市大数据的“总和”为核心要素，实现数据、存储、处理资源的统一池化。智慧城市大数据资源管理系统涵盖政府管理、行政管理、民生服务、经济企业的各个领域、各行业、各业务的数据集合，涉及政府行政数据、城市管理数据、民生服务数据、企业经济数据，以保证城市常态和非常态下运行的基本数据，包括：法人、人口、企业、财政、统计、资源、安全、交通、能耗、市政、生产、市场、商务、物流、医疗、卫生、教育、房产、社区等数据的共享。智慧城市大数据资源管理系统的核心作用是数据的共享与交换，最终目标是尽可能让更多的管理者方便、有效和准确的使用智慧城市所汇集的大数据这一集成的决策支持环境。如何提供全面的大数据工具和相应的数据挖掘、分析、管理、策略、方法和手段，是目前亟待解决的问题。

发明内容

有鉴于此，本发明的目的是提供一种应用于智慧城市的大数据资源管理系统，建立了一体化的数据存储处理环境，能够将分析决策所需的大量数据从传统的操作性环境中分离出来，将分散的、重复的、难于访问的操作数据转换成集中统一的、有价值的知识数据，为不同来演的数据提供一致的数据视图，将不同介质、不同组织方式的数据集成转换成为一个一致的分析型数据环境。

本发明通过以下技术手段解决上述技术问题：

一种应用于智慧城市的大数据资源管理系统，包括物理硬件平台、数据存储平台、分析计算平台、消息队列平台、数据缓存平台、检索平台、系统支撑平台、数据采集平台、数据处理平台、数据共享交换平台、对外协议接口平台、业务开发平台、运维与监控平台，所述数据处理平台包括主进程、守护进程、数据接收、数据清洗、数据格式校验、数据转换、数据解析、内容校验、数据存储、数据归档。

进一步，所述物理硬件平台包括操作系统、网络、存储和中间件、JVM虚机。

进一步，所述数据存储平台是按不同的业务数据源种类、用途将平台所涉及的全部数据划分为若干个独立的数据库集群，包括元数据库、配置库、归档库、过程库、主体库和知识库。

进一步，所述元数据库中主要包括平台运行涉及的运行时数据，所述配置库是对资源库各数据源的数据类型间公用的基础字典数据、基础库的整合与抽象，所述归档库包括各业务部门上传的文档，所述过程库为Mongodb，存储的是在XML文件映射转换后的数据信息，所述主题库主要面向应用场景构建，是对过程库中存储的数据的再组织和格式转换，所述知识库面向应用场景进行构建，能够对分析和决策提供数据支撑。

进一步，所述分析计算平台利用开源大数据处理工具hadoop和spark，根据挖掘目标和数据形式建立分类与预测、聚类分析、关联规则和智能推荐模型。

进一步，所述系统支撑平台包括数据资源管理服务、公共基础服务和数据分析展示服务，所述公共基础服务包括认证服务、接口服务和监控服务。

进一步，所述对外协议接口平台包括webservice服务、TCP/IP服务、ftp服务、http服务，实现文件的上传下载、权限的认证、数据的检索、元数据的查看。

进一步，所述运维与监控平台主要是对集群中的主机的性能监控、网络设备性能监控、数据库性能监控、通用协议监控提供多种告警方式和详细的报表图表绘制。

本发明的大数据资源管理系统建立了一体化的数据存储处理环境，能够将分析决策所需的大量数据从传统的操作性环境中分离出来，将分散的、重复的、难于访问的操作数据转换成集中统一的、有价值的知识数据，为不同来演的数据提供一致的数据视图，将不同介质、不同组织方式的数据集成转换成为一个一致的分析型数据环境。