[发明专利]一种移动通信网管数据时效提升方法

说明书

技术领域

本发明涉及移动通信网中网管系统技术，尤其涉及一种移动通信网管数据时效提升方法。提供一种实时、高效、低成本、便于维护的数据汇总方法，用以满足移动通信网管对数据及时性、完整性日益苛刻要求。

背景技术

移动通信中，信令、测量、性能等数据设备端上报的都是原始数据，这些数据量大、类型繁多，传统处理方法基本是先把数据入库到数据库，定时执行汇总，输出汇总结果。由于完整性要求，传统处理方法制定定时策略时需要考虑原始数据是否都到齐，定时延迟较大从而导致汇总动作执行较晚，导致数据延迟大。所有数据到齐后再进行汇总，由于数据量大、类型繁多等原因，导致汇总过程漫长、硬件资源峰值占用高，对数据库硬件要求高，从而导致投资成本高、汇总效率低。预定汇总时刻，如果部分数据仍然无法到齐，该次汇总将会导致数据不完整，需要补汇。对于汇总时刻的完整性检查和补汇动作的操作，都要消耗大量的人力物力。

传统处理方法的特点，导致数据从原始数据接入到结果数据的呈现周期长、成本高、效率低。在网管日常生产支撑对数据要求日益苛刻的当下，传统处理方法面临诸多挑战。

发明内容

为了解决以上问题，本发明提出了一种移动通信网管数据时效提升方法。将原来数据到齐后再整体统计的策略改为入场计数、缓存累加、状态标注、满足推送的策略，从而达到低成本的实时汇总，同时缩小补汇范围甚至避免补汇发生。

本发明技术方案如下：

一种移动通信网管数据时效提升方法，包括

1.1维护一个发布订阅消息系统；

1.2维护一个内存缓存系统；

1.3维护一个系统配置信息列表或者配置信息文件；

1.4依据配置信息启动消息订阅；

1.5依据配置信息流式收集主题信息；

1.6依据配置信息更新内存缓存系统累加器中缓存数据以及数据状态；

1.7依据配置信息将满足条件的数据主动持久化到数据库或者文件系统；

1.8依据配置信息过期不完整数据主动持久化到数据库或者文件系统。

步骤1.1中的发布订阅消息系统用于接收发布者按主题发布的原始数据消息，包括数据归属网元、数据归属时间、各项具体指标值等信息。

步骤1.2中的内存缓存系统用于缓存各主题数据按照时空粒度累加的指标值。

步骤1.3中的配置信息包括主题、原始网元粒度、原始空间粒度、各类指标项及累加方式、汇总网元粒度、汇总空间粒度、汇总结果输出方式、缓存最大时限等信息。

步骤1.4中的启动消息订阅，按照配置信息中的数据主题启动消息订阅，订阅关注主题。

步骤1.5中的流式收集主题信息，按照配置信息中的各类指标累加方式以流的方式进行时空粒度汇总。

步骤1.6中的更新内存缓存系统累加器，按照配置信息，将收集到的主题信息更新到缓存系统相应的累加器，并更新对应的状态。

步骤1.7中的满足条件数据主动持久化到数据库或者文件系统，监控内存缓存系统累加器，讲状态满足要求的数据按照配置信息要求持久化到数据库或者文件系统。

步骤1.8中的过期不完整数据主动持久化到数据库或者文件系统，按照配置信息缓存最大时限，将内存缓存系统累加器中超过时限且不完整的数据主动持久化到数据库或者文件系统，并发出告警信息。

本发明的有益效果是

采用本发明所述方法，与现有技术相比，可以实时、高效、低成本、便于维护的汇总数据。实时是指发明中的方法流式处理原始数据，累加各类指标项。高效是指累加器中数据一旦达到时空要求立即持久化供上层应用使用，而非传统方式中的所有数据到达后才能批量处理。低成本是指采用入场计数、缓存累加策略后所需存储、CPU等硬件资源相比传统方式少，降低了硬件投资成本。便于维护是两方面，一、新增汇总项目时，只需调整配置信息即可完成；二、可以通过告警信息，主动获取数据不完整信息，人工或者机器自动维护处理不完整数据。

附图说明

图1是本发明的数据流程示意图。

具体实施方式

下面对本发明的内容进行更加详细的阐述：

本发明主要包括：

1.1维护一个发布订阅消息系统；

1.2维护一个内存缓存系统；

1.3维护一个系统配置信息列表或者配置信息文件；

1.4依据配置信息启动消息订阅；

1.5依据配置信息流式收集主题信息；

1.6依据配置信息更新内存缓存系统累加器中缓存数据以及数据状态；