[发明专利]一种基于HADOOP的LTE MRO数据统计方法及系统

说明书

技术领域

本发明涉及一种LTE网络数据统计方法技术领域，特别涉及一种基于HADOOP的LTE MRO数据统计方法及系统。

背景技术

随着4G牌照的发放中国正式进入4G时代，与此同时运营商也紧锣密鼓的开始了基础网络建设。中国移动集团计划2014年要完成近50万个TD-LTE站点的建设。当前移动互联网的飞速发展，要求LTE网络从起步阶段就要成为精品网络。

而以往2/3G网，络运营的经验表明，站点完成建设后网络结构就基本确定。如何在LTE网络起步阶段就确保其结构合理性成为运营者亟待解决的重要课题。LTE MRO数据是指基站周期性收集手机终端所处无线环境信息的测量报告（measurement result）采样数据，客观的反映了无线网络的真实情况，对于诊断网络结构问题具有重要意义。

MRO（Mobility Robustness Optimization移动鲁棒性优化）是对切换的相关参数进行自动优化的一个功能，是SON（Self-Organization Network自组织网络）的组成部分之一。切换参数设置的不合理，会导致切换过早、过晚或乒乓切换的情况，这样将会影响用户体验以及浪费网络资源。MRO通过对不同切换场景的识别，并对它们进行统计，根据统计结果对切换的相关参数进行优化，使得网路中的切换失败、掉话以及不必要的切换降到最少。

随着无线网络中网元与厂商的增加，网络维护的复杂度、技术要求和成本等也在大幅上升。为了降低网络维护的复杂度与成本，LTE系统要求无线网络支持自组织行为，即E-UTRAN支持SON。SON需要支持自配置与自优化功能。MRO为自优化功能之一，通过识别异常切换的场景，自动优化切换的相关参数，以提高网络的切换成功率以及资源利用率。

MRO通过对不同切换情况的识别，并对它们进行统计，根据统计结果对切换的相关参数进行优化，使得网络中的切换失败、掉话和不必要的切换降到最少。

然而MRO文件为小文件，但数据庞大，传统的数据分析处理手段对此望而却步。分析人员只能针对重点保障区域提取对应数据做小范围的局部分析，无法开展全网的整体性网络结构分析。

Hadoop的出现为解决上述问题提供了技术手段。Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop框架中最核心设计是Map/Reduce和HDFS(Hadoop Distributed File System)。Map/Reduce是Google的一项核心的技术，它是对并行计算的编程模型的一种简化，它可以让那些并行计算经验不足的开发人员也可以开发这些并行应用。分布式文件系统HDFS的来源是受Google文件系统GFS（Google File System）的启发， 一个建立在大型集群上并且可靠存储大数据集的文件系统。HDFS与Map/Reduce相辅相成，构成了Hadoop分布式计算的坚实的存储基石。

Hive是Apache基金会下的一个在Hadoop上构建数据仓库的开源软件，它支持通过类SQL的HQL语言操作结构化数据。Hive的主要功能是将类SQL的HQL语言翻译成Map/Reduce代码并在Hadoop上运行。Hive的出现使Hadoop做大数据分析变的简单，节省了数据分析人员编译和调试Map/Reduce代码的繁琐工作。

Sqoop是一款开源的工具，主要用于在HADOOP(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递。Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，Sqoop独立成为一个Apache项目。

而LTE MRO文件本身的特点是其为海量小文件，为Hadoop的处理带来难度，而本发明基于Hadoop和Hive构建了一种统计LTE MRO等大数据的一种方法，能很好的满足电信等行业的大数据量统计需求。

发明内容

为了解决现有技术的问题，本发明提供了一种基于HADOOP的LTE MRO数据统计方法及系统，其实现了类似LTE MRO文件的海量小文件，解决了海量数据给电信运营商带来的处理压力，提供了高效智能统计和数据挖掘的途径。

本发明所采用的技术方案如下：

一种基于HADOOP的LTE MRO数据统计方法，包括以下步骤：

A、集群所有节点部署并开启自开发的多线程ftp下载工具，此工具实时扫描基站文件服务器；