[发明专利]一种基于Hadoop集群架构的智慧城市大数据处理系统

说明书

本发明属于资源信息处理技术领域，公开了一种基于Hadoop集群架构的智慧城市大数据处理系统，采集层用于采集数据；共享层用于对采集的数据进行聚集处理，实现对多种数据源的数据进行统一载入、分类、处理以及存储；应用层用于基于功能不同采用不同算法建模并利用移动设备、平板、电脑或其他终端设备呈现各个功能模块。本发明可预测各区域人口流动，探讨合理分配社会资源和可持续发展战略，为政府决策提供数据支撑，具有较好的执行效率和可扩展性；本发明采用SPARK开源并行架构设计，能更好地适用于数据挖掘与机器学习，运行速度快捷。

技术领域

本发明属于资源信息处理技术领域，尤其涉及一种基于Hadoop集群架构的智慧城市大数据处理系统。

背景技术

目前，业内常用的现有技术是这样的：

随着时代的发展，手机已成为我们不能缺少的交互工具。随着移动终端数量的快速增长以及处理能力的加强，各大公司都认识到占据了移动终端市场，就占据了庞大客户，掌握了大量的移动用户信息，占据了未来移动互联网的大趋势。而3G,4G网络的快速发展随之也带来了大量的全新的研究和应用机会。例如基于地理位置信息的服务，物联网技术的结合以及移动社交网络相关数据挖掘等。

城市作为人类的交易中心和聚集中心，是人类经济社会发展到一定阶段的产物。城市的出现，是人类社会步入文明时代的标志，也是人类群居生活的高级形式。城市化进程的加快，使城市被赋予了前所未有的经济、政治和技术的权利，城市被无可避免地推到了世界舞台的中心，发挥着主导作用。与此同时，城市也面临着环境污染、交通堵塞、能源紧缺、住房不足、失业、疾病等方面的挑战。在新环境下，如何解决城市发展所带来的诸多问题，实现可持续发展成为城市规划建设的重要命题。在这种大环境下，智慧城市的理念应运而生。智慧城市覆盖城市的方方面面，包括医疗、教育、交通、社区、环保、农业等等，它是基于物联网、云计算、大数据的基础上，把新一代信息技术运用于城市的各个方面的城市信息化高级形态。

信息技术的高速发展加速了城市化进程.在此过程中，城市人口的剧增也加大了城市管理难度，例如交通压力、就业压力等。分析城市人口流动行为有助于合理分配社会资源，有效应对交通压力、维护社会公共治安等。传统的人工分析方法，如问卷调查、座谈访问等，成本高昂且低效率。智能手机的不断发展与普及在为人们日常生活带来极大便利的同时，所产生的手机用户信令数据为有效分析城市人口流动行为提供了可能。然而，海量、低质的用户数据给查询分析工作带来了诸多挑战。由于地区间经济发展不均衡，城市内部各区域的功能分工各有不同，导致城市内部人口会大量流动。受限于地理和社交等因素，人们的行为往往呈现出规律性，就是人们在工作地和居住地的周期性位置变迁。

综上所述，现有技术存在的问题是：

(1)手机数据分析在不同类型活动的时空分布、活动强度的方法有所不同，不具有相应的典型研究。

(2)人群流动数据受到天气、节假日、道路畅通情况等诸多因素的影响，仅根据生活区域人口数目的比对已经难以满足需求

(3)非自愿提供手机数据无法记录用户活动目的，无法直接从数据中区分就业、游憩、居住等活动类型。

(4)现有智慧平台无法准确分析人口流动；所处地区节假日庆典众多，研究区域内人群流动不规律，常态的区域分析很难进行。

(5)海量、低质的用户数据给查询分析工作带来了诸多挑战；定点定时的基站数据收集给区域的人群流动分析使得数据更新不及时、系统反应迟缓、无法对突发事件或者节假日的人群流动进行合理的处理，而且现有技术中，没有基于移动用户信令数据预测各区域人口流动，不能有效分析社会资源可分配数据，而且没有采用hadoop架构，不能有效降低开发成本；没有采用SPARK开源并行架构，造成数据挖掘与机器学习中运行速度快慢。

解决上述技术问题的难度：