[发明专利]基于大数据分析的通信网络预警分析系统

权利要求书

1.一种基于大数据分析的通信网络预警分析系统，其步骤是：

A、通过SOA架构把骨干传输网分为网络控制和数据采集层、平台层、管理应用层，实现不同级骨干传输网的全面管理，并通过SOA架构之间的系统互联，完成通信管理系统同级之间及上下级之间中不同级骨干传输网的信息横向共享和应用协同；

B、综合通信管理系统的履历信息、台帐信息、业务使用信息及根据通信网络资源占用的层级分布，从光纤资源、复用段资源、通道资源多方面综合分析资源的利用情况，实时对通信设备和通信光缆的资源使用情况的数据进行储存；

C、数据的采集、导入与预处理：对通信管理系统、客户端、通信设备和通信光缆的数据进行采集，对采集的数据通过对象化并行计算框架在一个集中的大型分布式数据库或者分布式存储集群中进行负载均衡或分片储存，在储存过程中使用来自Twitter的Storm来对采集的数据进行流式计算；

D、数据的统计与分析：通过基于云计算的用电信息采集与数据分析平台，并利用分布式数据库或分布式计算集群，通过EMC的GreenPlum、Oracle的Exadata以及基于MySQL的列式存储Infobright和基于半结构化数据需求使用的Hadoop，对存储的海量数据进行普通的分析和分类汇总，以满足大多数常见的分析需求；

E、数据的挖掘：使用Hadoop的Mahout对现有存储的数据进行用于聚类的Kmeans计算、用于统计学习的SVM计算、用于分类的NaiveBayes计算，从而实现一些高级别数据分析的需求，从而起到预测的效果；

所述对象化并行计算框架将业务数据对象化，用对象取代二维表，并采用对象化并行计算技术，将计算功能封装在对象内部并通过对象接口对外服务，通过调用不同对象服务器上的对象接口，实现并行计算，将大数据上的统计分析转化为小数据的统计分析，小数据的统计分析又借助于内存优于磁盘的计算性能进行计算。

2.根据权利要求1所述的基于大数据分析的通信网络预警分析系统，其特征是：所述对象化并行计算框架是基于数据缓存技术，将各类数据以对象形式缓存到数据库中，提供对象的高效索引及访问，并具有数据横向扩展技术，通过在线扩展对象服务器来缓存增加的数据，提供基于对象的数据计算服务。

3.根据权利要求1所述的基于大数据分析的通信网络预警分析系统，其特征是：所述基于云计算的用电信息采集与数据分析平台采用增加索引、进行数据分区、优化SQL代码等形式，优化现有关系型数据库系统的处理性能；并通过ETL的手段，实现关系型数据库与非关系型数据处理环境之间的数据共享和互补协作，实现现有系统向云计算环境下的平稳迁移和可持续发展。

4.根据权利要求1所述的基于大数据分析的通信网络预警分析系统，其特征是：所述基于云计算的用电信息采集与数据分析平台包括一个平台和六个核心应用，所述一个平台为用电信息采集系统的云计算平台，所述六个核心应用包括用户抄表数据与电量数据的存储和查询、用户电量计算统计、台区线损计算分析、报文数据分析、低压数据完整率计算分析、档案类数据ETL。

5.根据权利要求1所述的基于大数据分析的通信网络预警分析系统，其特征是：所述客户端包括Web、App或者传感器。