[发明专利]移动通信网络测量分析系统及方法

说明书

技术领域

本发明涉及移动通信领域，具体涉及一种移动通信网络测量分析系统及方法。

背景技术

测量是TD-LTE系统的一项重要功能，LTE的测量报告数据主要产生于UE和eNodeB的物理层、RLC层以及用户在网络无线管理过程中形成的用户数据。原始的测量数据或经过简单统计的测量数据报送到OMC-R服务器以统计的数据形式进行存储。LTE系统的测量数据有两次测量方式，一种是周期性的测量，即用户在一定周期时间内上报无线网络测量数据；另一种是事件上报测量，事件测量报告是按照定义的事件为上报条件触发测量的。LTE测量数据为用户采样点级别的数据，数据量非常庞大。

传统的LTE测量分析方法往往受限于大数据处理问题，难以提高分析效率,具体体现为：LTE 测量数据（MR数据）是用户采样点级别的数据，数据量非常庞大，目前一类地市一天测量采样点总数在300亿个以上，二类地市采样点总数在100亿个以上。而现有的MR处理平台处理MR数据采用“数据下载—数据解析入库—数据分析”三步走的传统数据处理方式，具体为：

A数据采集阶段；MR数据的测量方式有两种，一种是周期性上报的测量报告，用户可以定义上报周期；另外一种测量是事件触发的测量报告，也就是当某事件出现的时候用户上报测量。MR数据按照站点为单位，以15分钟为粒度输出一个文件到OMC-R服务器，输出的文件有三种类型的数据，分别是MRO/MRS/MRE文件，每天每个站点生成的文件数为96*3等于288个文件。通常下载MR数据的传统手段是用户通过登录OMC-R服务，然后选择对应日期文件夹下的数据下载到本地，通过这种方式下载数据，需要消耗大量的工作量，并会受限于网络带宽对传输速度的影响。

B 数据入库阶段；由A可知，MR数据是按照站点以15分钟为粒度输出一个文件，假设一类地市一万个站点计算，那么每天生产的文件数为96*10000*3等于288W的文件，传统的入库技术采用多线程+Oracle 的方式，对数据量不大的情况下能满足入库要求，但无法满足处理大数据要求的入库效率问题。

C数据分析阶段；入库和分析独立进行，等数据全部入库到存储设备后，才开展数据分析，好处是保证了数据的统一性和完整性，缺点是没有采取同步处理，延长了数据处理的时间，降低了数据处理效率。

发明内容

本发明所要解决的技术问题是提供一种可应对海量MR数据，处理效率更高的测量数据分析系统及方法。

本发明的目的之一是提供一种移动通信系统测量数据分析系统，通过以下技术方案来实现的：

移动通信系统测量数据分析系统，部署在HADOOP集群平台上，包括与OMC-R服务器连接的监控及下载模块，用于在监控到OMC-R服务器上生成了新的MR原始数据文件后，自动下载最新的MR原始数据文件；

数据入库及分析模块，与监控及下载模块相连，用于在下载MR数据后，立即对MR原始数据进行基于HADOOP集群平台的MR数据入库进程；

以及，用于在MR数据入库的同时，进行基于HADOOP集群平台应用的移动通信网络测量数据分析。

本发明所称的Hadoop集群平台指的是利用Hadoop 框架，采用多台服务器组成一个计算机集群，它通过集群拓扑知识决定如何在整个集群中分配作业和文件。用户基于Hadoop开发分布式程序，充分利用集群的威力进行高速运算和存储，它主要有以下几个优点：

高可靠性、Hadoop按位存储和处理数据的能力值得人们信赖。

高扩展性、Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。

高效性、Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。

高容错性、Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。

低成本，与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市（Data Mart）相比，hadoop是开源的，项目的软件成本因此会大大降低。