[发明专利]一种基于大数据的网管数据互联系统

说明书

本发明公开了一种基于大数据的网管数据互联系统，包括：南向数据接入层：用于接入各种实时性的网络数据和非实时性的网络数据；数据关联中心：用于对南向数据接入层接入的数据进行数据建模和模型输出，包括资源的Oracle数据挖掘和多数据源关联；数据仓库：进行共享数据的统一存储；北向共享接口层：为分布式接口服务层，进行数据对外开放共享；管控分析接口：对互联系统进行可视化管理和控制。本发明提供的基于大数据的网管数据互联系统，可解决数据分散和数据格式不统一的问题；具有丰富的采集方式，适配目前已有的各类数据采集方式；各类数据进行标准化处理，不同数据源的相同数据可以进行互联；提供统一的多种对外数据共享接口。

技术领域

本发明涉及一种数据互联系统，尤其涉及一种基于大数据的网管数据互联系统。

背景技术

省网络管理中心已初步形成了数据采集、共享、应用相互解耦的三层网管架构，涵盖了移动公司网络运行的主要数据，这些数据可以更加全面准确的描述业务运行状况，支撑业务运行发展。但目前各类网络数据源分散，如告警类数据在综合监控系统、资源数据在综合资源管理系统、故障工单/网络变更数据EMOS系统、投诉数据在客服NGCC系统、PS域信令数据在信令共享平台、2/3G语音数据在MVQ系统、CSFB/VOLTE语音数据在语音信令监测平台。对外数据开放方式，也多是为满足特定专业的分析需求。

在现有技术架构下，网管数据有以下特点：1、数据分散在各网管系统，烟囱式单数据源对外共享；2、数据和接口格式不标准，数据使用方难以有效地关联分析；目前各网管系统仍以功能性场景服务为主，只能解决单一场景的问题，在数据的关联服务能力方面较弱，无法有效支撑面向用户的数据服务支撑能力。目前主要存在以下问题：1、在使用方层面，希望能将各类网管数据(告警，性能，资源，工单，工程，拓扑，拨测，投诉)进行集中管理、对地市共享，实现各类网管数据的集中互联、关联、清洗、共享，并希望实现网管数据和信令数据的关联，支持从网管数据到信令详情的追溯。2、从应用层面考虑，应用对于数据实时性要求越来越高，目前已有的系统无法满足应用的实时性要求；应用从多个系统获取数据成本较大，不利于上层应用敏捷开发，快速部署的诉求，与互联网新架构的发展趋势不相符。3、从数据层面考虑，多个系统形成数据孤岛，缺少统一的接入、清洗、建模的管理，需要统一的数据接入、统计的计算、统计的接口共享来打破数据孤岛；各自独立系统运维、管理面临很大难题，通过数据互联统一运维，提高资源利用率和处理效率；匹配互联网的发展趋势，数据统一互联形成大数据平台成为互联网主流选择。

本发明为解决以上缺点，运用大数据技术建设网管数据互联系统，对分散的网管数据进行互联、清洗、关联，并构建灵活统一的数据服务层，有效支撑上层应用，如智能研判、实时监控、地市共享、挖掘和关联分析等应用。

发明内容

本发明要解决的技术问题是提供一种基于大数据的网管数据互联系统，解决当前专业业务系统无法数据分散和数据格式不统一的问题。

本发明为解决上述技术问题而采用的技术方案是提供一种基于大数据的网管数据互联系统，包括：南向数据接入层：用于接入各种实时性的网络数据和非实时性的网络数据；数据关联中心：用于对南向数据接入层接入的数据进行数据建模和模型输出，包括资源的Oracle数据挖掘和多数据源关联；数据仓库：进行共享数据的统一存储；北向共享接口层：为分布式接口服务层，进行数据对外开放共享；管控分析接口：对互联系统进行可视化管理和控制。

进一步的，所述南向数据接入层对实时性要求高的网络数据通过Kafka方式接入，对实时性无要求的网络数据通过Flume方式接入。

进一步的，所述网络数据包括工单、网络变更、网络资源、网管性能、告警、拔测、用户投诉和其他网络数据。

进一步的，所述资源的Oracle数据挖掘过程如下：加载资源数据后，采用SparkStreaming对南向接入的数据源以实时流的方式进行资源维度信息规范化处理，并回填资源信息，给多数据源关联提供统一标准的资源维度。