[发明专利]一种数据通信业务质量监控的方法及大数据系统

说明书

本发明公开了一种数据通信业务质量监控的方法及大数据系统，其方法包括kafka producers实时的将网元上的日志发送到大数据，大数据kafka集群的brokers收到日志数据后，然后启动spark streaming任务调用kafka consumer处理日志数据。将日志处理结果和统计结果实时写入Elasticsearch中。同时将部分实时统计结果写入到hdfs中，后面进行离线的天、月统计时读取hdfs上的数据，再将统计结果写入到Elasticsearch中。在入库完成后，对关键性的指标进行实时的监控和判断，当发现关键性指标出现异动时，及时向运维人员发出预警提示，以便故障在未出现或者出现之初就得到人为的干预排除。

技术领域

本发明涉及移动融合技术领域，特别涉及一种数据通信业务质量监控的方法及大数据系统。

背景技术

随着社交网络化的逐步扩大和深入，运营商也着力推出基于移动终端的社交平台，随着用户量的增加，业务规模的不断扩大，RCS(Rich Communication Suite，富通信套件)组网中网元的数量越来越多，众多相互关系的网元给人工维护增加难度，无法及时对潜在的风险进行预警，或者对已出现的故障进行快速定位。一旦出现故障或者故障得不到快速定位解决，将会严重的影响用户的观感和使用。

发明内容

根据本发明实施例提供的方案解决的技术问题是无法及时对潜在的风险进行预警，或者对已出现的故障进行快速定位。

根据本发明实施例提供的一种数据通信业务质量监控的方法，包括：

大数据系统通过对各个网元的话单日志服务器发送的日志数据进行日志处理，得到各网元的日志处理结果和日志统计结果；

大数据系统根据所得到的各网元日志处理结果和日志统计结果对该网元日志的关键性指标数据进行业务质量监控，判断所述网元日志的关键性指标数据是否存在风险；

若判断所述网元日志关键性指标数据存在风险，则大数据系统向运维人员发出数据通信业务质量的预警提示。

优选地，部署在每个网元的话单日志服务器中kafka producers模块收集所在网元的日志数据，并将其进行编码后发送到所述大数据系统的brokers模块。

优选地，所述brokers模块收到来自各个网元编码后的日志数据后，保存所述各网元编码后的日志数据，并启动所述大数据系统的spark streaming任务调用kafkaconsumer模块。

优选地，所述kafka consumer模块被调用后，提取所述brokers模块保存的各网元编码后的日志数据，并对所述日志数据解码后进行日志处理，得到各网元的日志处理结果和日志统计结果。

优选地，所述kafka consumer模块将所得到的各网元的日志处理结果和日志统计结果发送到所述大数据系统的Elasticsearch模块，同时将各网元的日志统计结果发送到所述大数据系统的HDFS(HadoopDistributed File System，分布式文件系统)模块，以便需要进行各网元的离线日志统计时，读取并统计所述HDFS模块中各网元的日志统计结果，得到各网元的离线日志统计结果，并将其发送到所述Elasticsearch模块。

优选地，所述大数据系统的Websphere应用服务器WAS模块通过读取所述Elasticsearch模块中各网元的日志处理结果和日志统计结果，对该网元日志的关键性指标数据进行业务质量监控，判断所述网元日志的关键性指标数据是否存在风险，并在判断所述网元日志关键性指标数据存在风险时向运维人员发出数据通信业务质量的预警提示。