[发明专利]无线城市大数据离线处理系统及其大数据离线处理方法

摘要

本发明属于无线城市数据处理技术领域，特别涉及一种无线城市大数据离线处理系统及其大数据离线处理方法。本发明包括定时增量模块、抽取匹配模块、存储模块、分析模块以及统计模块，所述定时增量模块用于获取无线城市大数据的定时增量数据；抽取匹配模块用于读取所述定时增量数据，抽取匹配数据；存储模块用于接收并存储来自抽取匹配模块的匹配数据；分析模块用于读取并分析存储于存储模块中的匹配数据；统计模块用于统计并展示所述分析模块分析后的匹配数据。本发明采用HDFS文件系统，集多台Hadoop集群于一体，便于扩展，在HDFS文件系统上搭建的非关系型数据库HBase，实现将亿级无线城市大数据存储起来，满足了无线城市中的大数据量统计的需求。

主权项

无线城市大数据离线处理系统，其特征在于：包括定时增量模块(10)、抽取匹配模块(20)、存储模块(30)、分析模块(40)以及统计模块(50)，其中，定时增量模块(10)，用于获取无线城市大数据的定时增量数据；抽取匹配模块(20)，用于读取所述定时增量模块(10)获取到的定时增量数据，并对所述定时增量数据进行抽取匹配，得到匹配数据；存储模块(30)，用于接收并存储来自抽取匹配模块(20)的匹配数据；分析模块(40)，用于读取并分析存储于存储模块(30)中的匹配数据；统计模块(50)，用于统计并展示所述分析模块(40)分析后的匹配数据。