[发明专利]基于大数据分析的通信网络预警分析系统

摘要

本发明公开了一种基于大数据分析的通信网络预警分析系统，通过SOA架构把骨干传输网分为网络控制和数据采集层、平台层、管理应用层，实现不同级骨干传输网的全面管理，并通过SOA架构之间的系统互联，完成通信管理系统同级之间及上下级之间中不同级骨干传输网的信息横向共享和应用协同，综合通信管理系统的履历信息、台帐信息、业务使用信息及根据通信网络资源占用的层级分布，从光纤资源、复用段资源、通道资源等多方面综合分析资源的利用情况，实时对通信设备和通信光缆的资源使用情况的数据进行储存；通过对不同层级的通信资源占用分析，利用大数据技术对现有的海量历史运行维护数据进行综合分析，从而能够提前预知通信网络中可能存在潜在的隐患。

主权项

一种基于大数据分析的通信网络预警分析系统，其步骤是：A、通过SOA架构把骨干传输网分为网络控制和数据采集层、平台层、管理应用层，实现不同级骨干传输网的全面管理，并通过SOA架构之间的系统互联，完成通信管理系统同级之间及上下级之间中不同级骨干传输网的信息横向共享和应用协同；B、综合通信管理系统的履历信息、台帐信息、业务使用信息及根据通信网络资源占用的层级分布，从光纤资源、复用段资源、通道资源多方面综合分析资源的利用情况，实时对通信设备和通信光缆的资源使用情况的数据进行储存；C、数据的采集、导入与预处理：对通信管理系统、客户端、通信设备和通信光缆的数据进行采集，对采集的数据通过对象化并行计算框架在一个集中的大型分布式数据库或者分布式存储集群中进行负载均衡或分片储存，在储存过程中使用来自Twitter的Storm来对采集的数据进行流式计算；D、数据的统计与分析：通过基于云计算的用电信息采集与数据分析平台，并利用分布式数据库或分布式计算集群，通过EMC的GreenPlum、Oracle的Exadata以及基于MySQL的列式存储Infobright和基于半结构化数据需求使用的Hadoop，对存储的海量数据进行普通的分析和分类汇总，以满足大多数常见的分析需求；E、数据的挖掘：使用Hadoop的Mahout对现有存储的数据进行用于聚类的Kmeans计算、用于统计学习的SVM计算、用于分类的NaiveBayes计算，从而实现一些高级别数据分析的需求，从而起到预测的效果；所述对象化并行计算框架将业务数据对象化，用对象取代二维表，并采用对象化并行计算技术，将计算功能封装在对象内部并通过对象接口对外服务，通过调用不同对象服务器上的对象接口，实现并行计算，将大数据上的统计分析转化为小数据的统计分析，小数据的统计分析又借助于内存优于磁盘的计算性能进行计算。