[发明专利]一种信令大数据处理方法及电子设备

说明书

本发明提供一种信令大数据处理方法及电子设备，所述方法包括：利用预先建立的Counter预提取模型，对待处理信令大数据进行Counter提取处理，并对提取的Counter进行库外计算；对Counter提取后的信令大数据进行入库计算处理。本发明能够有效提高信令大数据的处理效率，并有效减少硬件消耗，节省硬件投资，提升企业效益。

技术领域

本发明涉及通信数据处理技术领域，更具体地，涉及一种信令大数据处理方法及电子设备。

背景技术

当前，拥有丰富大数据资源的各电信运营商已广泛建立起大量的信令监测系统，基于信令数据开展各种维度的分析已成为各电信运营商的关键能力。例如，基于信令数据，开展质差网元分析、端到端业务质量分析、客户感知溯源分析以及实时业务质量监测等。同时，由于移动互联网业务的飞速发展，信令数据规模庞大且在持续增长。

爆炸式的数据增长以及现有架构十分缓慢的分析速度，给信令数据的处理效率带来了极大的挑战。传统的信令数据处理方法针对解析后的全量XDR，完全借助Hadoop集群的分布式计算能力，实现对Counter的提取及汇总计算。该方式将所有计算压力集中在Hadoop等大数据计算集群上，计算效率低，对硬件资源消耗大。主要体现在：

直接将XDR进行入库计算，但因XDR详单中存在URI、User-Agent等占用存储大，同时又对业务指标统计无用字段，造成在计算过程中耗费较多的内存资源，降低了数据处理性能；

参与计算数据量大，同时在SQL中包含了复杂的Counter提取逻辑判断，使部分业务指标统计分析处理耗时很长；

Hadoop属于通用计算框架，基于Java语言开发实现，其对特定业务场景的处理效率非最优实现。

发明内容

为了克服上述问题或者至少部分地解决上述问题，本发明提供一种信令大数据处理方法及电子设备，用以有效提高信令大数据的处理效率，并有效减少硬件消耗，节省硬件投资，提升企业效益。

一方面，本发明提供一种信令大数据处理方法，包括：利用预先建立的Counter预提取模型，对待处理信令大数据进行Counter提取处理，并对提取的Counter进行库外计算；对Counter提取后的信令大数据进行入库计算处理。

进一步的，在所述利用预先建立的Counter预提取模型，对待处理信令大数据进行Counter提取处理的步骤之前，所述方法还包括：分别定义模型的Counter指标提取规则、Counter算法规则维护形式以及Counter算法的词法、语法分析逻辑；基于所述Counter指标提取规则、所述Counter算法规则维护形式以及所述Counter算法的词法、语法分析逻辑，通过定义代码生成及编译逻辑，建立所述Counter预提取模型。

其中，定义所述Counter指标提取规则的步骤进一步包括：利用结构化查询语言SQL，定义所述Counter指标提取规则，实现数字化表示。

其中，定义所述Counter算法规则维护形式的步骤进一步包括：设置可视化的Counter提取规则维护界面，以实现对所述Counter指标提取规则的实时调整与维护。

其中，定义所述Counter算法的词法、语法分析逻辑的步骤进一步包括：基于写入的输入文件类型，利用Lex工具生成词法分析器；根据符合结构化查询语言SQL标准的程序字和词法、语法规则，编制Lex和Yacc源文件，并利用GNU中的构造工具Flex和Bison，自动生成C语言代码的词法分析程序yylex和语法分析程序yyparse。

其中，所述对提取的Counter进行库外计算的步骤进一步包括：对Counter算法进行词法分析，并确定Counter算法中单词符号分类；基于所述单词符号分类，对所述词法分析的结果进行语法分析，并根据所述语法分析结果，生成目标代码的语法树。