[发明专利]基于大数据分析的通信网络预警分析系统

说明书

技术领域：

本发明涉及一种通讯网络预警分析系统，特别是涉及一种基于大数据分析的通信网络预警分析系统。

背景技术：

电力系统通信是电力系统不可缺少的重要组成部分，是电网调度自动化和生产管理现代化的基础，是确保电网安全、经济、稳定运行的重要技术手段。电力通信网络作为构建统一坚强智能电网和企业信息化的基础支撑，为整个电力系统中的电网调度、自动化、继电保护、安全自动控制、电力市场交易以及企业信息化等提供安全的信息传输通道，它的优质化管理是整个电网保持顺畅的关键。随着以特高压电网为核心、各级电网协调发展的统一坚强智能电网建设，要求作为电网化智能基础支撑的电力通信基础传输网络高速发展。电力通信网络规模的不断扩大，传输网层次的逐渐增多以及网络结构的日趋复杂，对电力通信系统的综合监视与运维管理提出了新的挑战。

随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。相比于传统的数据仓库应用，具有数据量大、查询分析复杂等特点。大数据作为数据分析的前沿技术，可以从各种各样类型的数据中，快速获得有价值的信息。

2012年3月，奥巴马政府公布“大数据研发计划”，旨在提高和改进人们从海量、复杂的数据中获取知识的能力，发展收集、储存、保留、管理、分析和共享海量数据所需要的核心技术，大数据成为继集成电路和互联网之后信息科技关注的重点。

与国外相比，国内起步稍晚，还未形成整体力量，企业使用数据挖掘技术尚不普遍,但近几年出现了蓬勃发展的态势。目前，国内相关技术主要集中于数据挖掘相关算法、实际应用及有关理论方面的研究，涉及行业比较广泛，包括金融业、电信业、网络相关行业、零售业、制造业、医疗保健、制药业及科学领域，单位集中在部分高等院校、研究所和公司，特别是在IT等新兴领域，华为、阿里巴巴、百度等对技术进步起到了很大的推动作用。

电力领域，自2010年以来，国家电网公司在大数据技术方向共开展了海量实时数据管理平台、PI数据库应用、非结构化数据快速检索、高通量事件即时处理、分布式实时数据库管理系统研发与应用、信息系统的性能测试与验证方法等研究，取得了海量实时数据库管理平台、性能测试测评等成果，但是在通讯网络预警领域还没有涉及。

发明内容：

本发明所要解决的技术问题是：克服现有技术的不足，通过SOA的架构，提升对通信设备和通信光缆的资源使用效率，通过对不同层级的通信资源占用分析，利用大数据技术对现有的海量历史运行维护数据进行综合分析，实现对海量运行数据的时序趋势判定，从而能够提前预知通信网络中可能存在潜在隐患的基于大数据分析的通信网络预警分析系统。

本发明的技术方案是：一种基于大数据分析的通信网络预警分析系统，其步骤是：

A、通过SOA架构把骨干传输网分为网络控制和数据采集层、平台层、管理应用层，实现不同级骨干传输网的全面管理，并通过SOA架构之间的系统互联，完成通信管理系统同级之间及上下级之间中不同级骨干传输网的信息横向共享和应用协同；

B、综合通信管理系统的履历信息、台帐信息、业务使用信息及根据通信网络资源占用的层级分布，从光纤资源、复用段资源、通道资源等多方面综合分析资源的利用情况，实时对通信设备和通信光缆的资源使用情况的数据进行储存；

C、数据的采集、导入与预处理：对通信管理系统、客户端、通信设备和通信光缆的数据进行采集，对采集的数据通过对象化并行计算框架在一个集中的大型分布式数据库或者分布式存储集群中进行负载均衡或分片储存，在储存过程中使用来自Twitter的Storm来对采集的数据进行流式计算；

D、数据的统计与分析：通过基于云计算的用电信息采集与数据分析平台，并利用分布式数据库或分布式计算集群，通过EMC的GreenPlum、Oracle的Exadata以及基于MySQL的列式存储Infobright和基于半结构化数据需求使用的Hadoop，对存储的海量数据进行普通的分析和分类汇总，以满足大多数常见的分析需求；

E、数据的挖掘：使用Hadoop的Mahout对现有存储的数据进行用于聚类的Kmeans计算、用于统计学习的SVM计算、用于分类的NaiveBayes计算，从而实现一些高级别数据分析的需求，从而起到预测的效果；