[发明专利]一种用于智慧城市建设的大数据平台

权利要求书

1.一种用于智慧城市建设的大数据平台，其特征在于：包括大数据基础平台、数据交换平台、数据管理平台、运行支撑平台和数据门户；其中，

大数据基础平台包括运维管理组件、分布式数据库、分布式数据仓库、分布式计算模块、流数据处理及消息框架、数据采集管理组件、数据运维管理组件；所述运维管理组件提供大数据平台组件部署及动态扩容；所述分布式数据库采用分布式数据库Hbase，同时利用HBase中的主从复制和循环复制，使得平台达到一种高可用的状态；所述分布式数据仓库采用分布式数据仓库Hive；所述分布式计算模块利用分布式计算框架，为上层应用提供大数据分布式计算支撑及算法库支撑，提供数据存储访问及分布式计算任务的调度、运行支撑环境能力；所述流数据处理及消息框架采用小批量流式处理方式，每隔设定间隔处理当前批次数据；支持复杂SQL应用和在线流式机器学习；所述数据采集管理组件对数据源的提供者、业务来源、连接信息、连接状态进行管理，实现对数据来源的跟踪，并对数据库进行数据采集；所述数据运维管理组件提供对大数据平台数据的统一监控和运维管理；

数据交换平台包括数据桥接子系统、数据传输子系统、前置交换子系统和交换管理监控子系统；数据桥接子系统用于完成委办局业务系统信息库与前置信息库或交换平台之间双向安全、可靠的信息交换，并实现数据格式转换；数据传输子系统即消息总线系统，作为前置交换子系统之间的信息交换通道，用于实现交换信息的打包、转换、传递、路由、解包日志服务；前置交换子系统作为各委办局与数据交换平台进行数据交换的窗口，一方面从各业务系统提取数据，向中心提交，另一方面从数据中心接收数据，并向业务系统传递数据；交换管理监控子系统作为数据交换平台的中心管理模块，协同委办局交换前置机和中心交换前置机的运行并对数据交换平台的运行情况进行管理和监控；

数据管理平台用于实现资源目录服务、数据质量管理及业务建模；所述业务建模是构建用户接口或上层业务应用与基础数据之间的逻辑模型，业务对象和业务分析模型在此实例化，应用服务层是生成并操作接收信息的业务规则和函数的集合，它们通过业务规则完成该任务，并由此被封装到在物理上与应用程序程序逻辑本身相独立的组件中；

运行支撑平台用于为顶层应用开发提供共性的服务组件、用户权限管理、监控及接口服务；

数据门户用于资源展示、在线查询及门户管理；

其逻辑架构包括：

数据采集接入层，是指不同部门按照业务需求，确定信息交换流程，在部门间实现具有主动推送特点的连续、实时信息传输；信息交换有集中交换、分布交换与混合交换三种模式；数据交换是用于实现数据的发送与接收，对参与者的合法性进行验证，并通过与数据传输中间件的配合，实现可靠的数据交换；

数据处理层，对不同委办局交换而来的数据经过数据清洗、比对、融合环节而形成数据库；其中，数据比对是对采集回来的各类数据，进行关键字段的比较核对，形成各类型属性数据在主表上的挂靠，同时也将采集过来的各个类型属性数据中信息错误或有差异的数据进行更正、统一；针对已经采集并清洗后的数据，分类同地理、自然人口、组织单位三大库主表进行数据比对，比对上的数据，分主表和附属信息表存储，包括新增、修改；主表信息，累计增加，附属表比对上后携带主表id存储；无法比对上的附属表信息作为异常数据存储，以便统计和后期反馈；

数据融合层，通过地理信息库标准地址和自然人口身份证号码进行三大库整合，使三大相对独立的对象进行关联，有效的实现地理、人口、组织单位的紧密结合，从而构成完整的基础信息数据库：(1)主体对象表抽取，对各个部门采集数据进行清洗后，将信息过后的数据分主次抽取，抽取地理、人口、组织单位三大主体对象，形成主体库；(2)主题表关联，各主题库通过对应的主题表中的主键相互关联；(3)业务属性信息关联，以主题表关联形成了数据关联融合的整体框架，各业务属性信息之间也需要通过相应的主键进行关联；(4)属性信息与地理信息的关联，属性信息与地理信息的关联地址编码通过地址编码实现，地址编码的过程包括地址标准化和地址匹配，地址标准化是指在进行地址编码之前，将道路地址处理为一种熟悉的、常用的格式，纠正道路和地址名称的形式，地址匹配指确定具体地址事件的空间位置，并且将其绘制在地图上，最终目标是为给定地址；

数据仓库层，是一个面向主题、集成的、非易失的、随时间变化的数据集合，能够对平台数据进行分类、元数据抽取、数据统计、模型搭建、历史数据存储，为智能分析提供多角度、多层次、多时间面的数据支持，同时存放了大量的历史统计静态数据，对于以时间为主线的环比、同比、趋势分析可提供直接的数据支持；

数据应用层为用户提供应用服务。