[发明专利]一种通用统计方法和装置

说明书

技术领域

本发明属于通信技术领域，尤其涉及一种对信令数据与业务数据进行统计分析的通用统计方法和装置。

背景技术

3G通信网络是电信史上的一块里程碑，标志着新一代电信网络时代的到来。随着3G业务的发展，运营商提供的各种特色应用不断出现，为了提高服务质量，并对运维部分和市场营销提供具体的参考数据，对各种信令数据与业务数据进行深入的分析已经成为电信运营商的重要目标。由于通信业务种类繁多，通讯协议多样，如何保证数据分析统计的快速开发和部署，并能够保证较高的统计效率避免占用过多的数据库资源就显得非常重要。

现有的基于数据库的统计工具需要使用较多的数据库资源，由于数据库资源有限，大量的统计对数据造成沉重的负担。而基于特定数据的专用统计工具，在用于不同的数据统计时，还需要根据情况来修改统计程序，开发效率较低。

发明内容

有鉴于此，本发明的目的在于提供一种通用统计方法和装置，能够避免占用复杂的数据库资源，并且通用性更高。

为实现上述目的，本发明提供一种通用统计方法，包括：

读取配置文件，所述配置文件中指定了存储待统计分析的文本数据源的路径与文件名匹配字符串；

解析统计任务的脚本，并将其转换成执行计划；

根据所述形成的执行计划，对配置文件中指定的待统计分析的数据源进行统计处理，形成统计结果。

优选地，所述解析统计任务的脚本包括：

在解析的过程中，根据统计任务的脚本中的节点类型生成不同的节点类，由此生成统计任务的脚本的分析树。

优选地，所述将解析后的任务的脚本转换成执行计划包括：

根据节点类型的不同，将分析树中的标识符节点转换为变量节点、常量节点、数据源节点或静态表字段节点；

将分析树中的聚集函数进行转换；

确定分析树中的各字段的偏移和操作类型；

确定执行操作函数。

优选地，所述方法还包括：将所述形成的统计结果根据数据库静态数据或者文本文件中包含的静态数据进行级联统计。

优选地，所述将形成的统计结果根据数据库静态数据或者文本文件中包含的静态数据进行级联统计包括：根据由数据库静态数据或者文本文件中包含的静态数据而设定的过滤门限，对所述统计结果进行过滤再进行统计。

优选地，所述配置文件中还指定存储统计结果的文件名；

所述方法还包括：将最终的统计结果存储入配置文件中指定的存储统计结果的文件名标识的文件中。

优选地，所述将最终的统计结果存储入配置文件中指定的存储统计结果的文件名标识的文件中包括：

当以天为统计周期时，所述存储单元暂存每小时的统计结果，当全天统计结束时，将全天最终的统计结果存储到配置文件指定的目录下，文件名包含配置文件中配置的表名、表ID、数据库类型、数据库名称、数据的日期时间、进程号、机器名信息。

另一方面，本发明还提供一种通用统计工具，包括：

配置文件读取单元，用于读取配置文件，所述配置文件中指定了存储待统计分析的文本数据源的路径与文件名匹配字符串；

脚本解析单元，用于解析统计任务的脚本；

执行计划形成单元，用于将经过脚本解析单元解析后的脚本转换成执行计划；

统计处理单元，用于根据所述形成的执行计划，对配置文件中指定的待统计分析的数据源进行统计处理，形成统计结果。

优选地，所述执行计划形成单元包括：

标识符节点转换单元，用于根据节点类型的不同，将分析树中的标识符节点转换为变量节点、常量节点、数据源节点或静态表字段节点；

聚集函数转换单元，用于将分析树中的聚集函数进行转换；

偏移和操作类型确定单元，用于确定所述分析树中的各字段的偏移和操作类型；

操作函数确定单元，用于确定执行操作函数。

优选地，还包括级联统计单元，所述级联统计单元用于将所述形成的统计结果根据数据库静态数据或者文本文件中包含的静态数据进行级联统计。

优选地，所述配置文件中还指定存储统计结果的文件名；所述通用统计工具还包括存储单元，用于将最终的统计结果存储入配置文件中指定的存储统计结果的文件名标识的文件中。

优选地，当以天为统计周期时，所述存储单元暂存每小时的统计结果，当全天统计结束时，将全天最终的统计结果存储到配置文件指定的目录下，文件名包含配置文件中配置的表名、表ID、数据库类型、数据库名称、数据的日期时间、进程号、机器名信息。