[发明专利]一种用于智慧城市建设的大数据平台

说明书

本发明公开的一种用于智慧城市建设的大数据平台，包括大数据基础平台、数据交换平台、数据管理平台、运行支撑平台和数据门户；本发明的大数据平台通过将各委办局及投资公司信息资源梳理和整合，建立信息系统的基底数据，实现城市管理中各要素的全面管理，为应用信息系统建设提供统一的数据服务。通过统一的数据管理平台，提供数据标准化工具，使得数据的收集、清理、整合等更加标准与完善，实现各个系统数据的一致性，保证不同来源的信息能够无缝使用，实现提供数据检查、数据转换、数据入库、数据库性能调优、数据备份与恢复管理、数据权限控制、数据导入导出、数据查询统计等功能，在保证数据高效应用基础上，保证数据的安全性。

技术领域

本发明涉及数据管理领域，特别涉及一种用于智慧城市建设的大数据平台。

背景技术

在多个政府部门之间，产生了大量的数据，包括公安的人口、企业、车辆数据，人社的社保、劳动等数据，卫计的卫生、计生数据，审批及工作中产生的大量文档数据，以及执法所产生的海量的视频数据，构成了海量的、对城市的方方面面具有重要影响的数据。这些数据往往存储在各个部门的自建系统中，在数据共享中会存在技术对接难，数据泄密等问题。

未来智慧城市的建设潜在要求：以完善的机制体制和全面的安全体系为保障，以弹性动态的基础设施平台为基础，以信息资源数据的共享、交换、融合、服务为核心，以多部门的业务流程协同为手段，打造可持续运营的、实用的、能够真正服务于社会管理、城市管理和社会经济管理的信息化体系，并将信息化与体制机制深度融合和互相促进。

因此有必要提供一种大数据平台来匹配未来智慧城市建设的需求。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种用于智慧城市建设的大数据平台。

本发明的目的通过以下的技术方案实现：

一种用于智慧城市建设的大数据平台，包括大数据基础平台、数据交换平台、数据管理平台、运行支撑平台和数据门户；其中，

大数据基础平台包括运维管理组件、分布式数据库、分布式数据仓库、分布式计算模块、流数据处理及消息框架、数据采集管理组件、数据运维管理组件；所述运维管理组件提供大数据平台组件部署及动态扩容；所述分布式数据库采用分布式数据库Hbase，同时利用HBase中的主从复制和循环复制，使得平台达到一种高可用的状态；所述分布式数据仓库采用分布式数据仓库Hive；所述分布式计算模块利用分布式计算框架，为上层应用提供大数据分布式计算支撑及算法库支撑，提供数据存储访问及分布式计算任务的调度、运行支撑环境能力；所述流数据处理及消息框架采用小批量流式处理方式，每隔设定间隔处理当前批次数据；支持复杂SQL应用和在线流式机器学习；所述数据采集管理组件对数据源的提供者、业务来源、连接信息、连接状态进行管理，实现对数据来源的跟踪，并对数据库进行数据采集；所述数据运维管理组件提供对大数据平台数据的统一监控和运维管理；

数据交换平台包括数据桥接子系统、数据传输子系统、前置交换子系统和交换管理监控子系统；数据桥接子系统用于完成委办局业务系统信息库与前置信息库或交换平台之间双向安全、可靠的信息交换，并实现数据格式转换；数据传输子系统即消息总线系统，作为前置交换子系统之间的信息交换通道，用于实现交换信息的打包、转换、传递、路由、解包日志服务；前置交换子系统作为各委办局与数据交换平台进行数据交换的窗口，一方面从各业务系统提取数据，向中心提交，另一方面从数据中心接收数据，并向业务系统传递数据；交换管理监控子系统作为数据交换平台的中心管理模块，协同委办局交换前置机和中心交换前置机的运行并对数据交换平台的运行情况进行管理和监控；

数据管理平台用于实现资源目录服务、数据质量管理及业务建模；所述业务建模是构建用户接口或上层业务应用与基础数据之间的逻辑模型，业务对象和业务分析模型在此实例化，应用服务层是生成并操作接收信息的业务规则和函数的集合，它们通过业务规则完成该任务，并由此被封装到在物理上与应用程序程序逻辑本身相独立的组件中；