[发明专利]一种数据处理方法及装置

说明书

技术领域

本发明属于数据仓库领域中数据计算或数据处理领域，具体涉及一种提高数据计算效率和灵活性的数据处理方法及装置。

背景技术

随着大数据概念的兴起，各个行业都在基于数据仓库技术，积极地利用行业生产过程中产生的各类结构化和非结构化数据。传统的数据指标计算方法在计算每个指标时，往往需要进行复杂的配置操作，或者开发代码完成，相同或者类似的计算过程无法重用，重复性工作很多，并且当指标计算规则发生变化时，也需要进行同样的配置或者开发，导致不能及时响应用户指标统计分析的需求。

传统的数据指标计算方法，计算规则和计算过程绑定比较紧密，这种处理方法有两个弊端：一是指标计算规则发生调整或者新增指标时，需要技术人员进行配置或者调整代码，系统使用者无法直接干预；二是指标没有集中管理，中间计算结果以及过渡指标不能复用，经常会出现重复计算的现象，导致整体数据计算效率低下。

发明内容

针对现有技术中存在的缺陷，本发明提供一种数据处理方法，能够提高数据计算效率、计算灵活性和可扩展性。

为实现上述目的，本发明采用的技术方案如下：提供一种数据处理方法，该方法包括如下步骤：

(1)对指标的基本信息和计算规则进行配置，所述的指标包括提数类指标和公式类指标；

(2)自动装载上述步骤中的指标配置信息并完成指标的计算工作，得到指标结果。

进一步，在步骤(1)中，将待计算各个指标的基本信息存储在预设的指标定义表中，进行统一管理。

进一步，在步骤(1)中，所述提数类指标是从预先设置的事实表元数据里选取事实表名称及度量字段名称，设置对应的提数规则；所述公式类指标，选取依赖指标，设置依赖指标之间的计算规则。

进一步，所述提数类指标采用事实表数据口径，所述公式类指标根据依赖指标的数据口径，取得每个指标计算维度使用到最粗的级次，作为该公式类指标的数据口径。

进一步，将提数类指标的提数规则存储在预设的提数规则配置表，将依赖指标以及对应的计算规则存储在预设的公式规则配置表里。

进一步，所述提数类指标由于不依赖任何其他指标，先进行计算，计算步骤如下：

a、从指标定义表里取得事实表和度量字段名称；

b、从提数规则配置表里取得提数类指标的计算规则；

c、动态组装事实表数据源和计算规则完成指标计算，并将计算结果保存到预设指标结果表里；

d、对每个指标计算维度逐级向上汇总，得到各级汇总数据口径的计算结果。

e、将各级计算结果也保存到指标结果表，结束该提数类指标计算。

进一步，所述公式类指标按照优先级逐一进行计算，计算步骤如下：

a1、从公式规则配置表里取得所有依赖指标及各依赖指标之间的计算公式；

b1、根据依赖指标自动计算出该指标的数据口径；

c1、按照此数据口径从指标结果表取得所有依赖指标的计算结果；

d1、根据公式进行计算，将结果保存在指标结果表；

e1、对每个依赖指标计算维度逐级向上汇总，得到各级数据口径的计算结果；

f1、将各级计算结果也保存到指标结果表里，结束该公式类指标计算。

本发明还提供一种数据处理装置，包括配置模块和运行模块，所述配置模块用于对指标的基本信息和对应的计算规则进行配置；所述运行模块用于自动装载所述配置模块中的指标配置信息，并完成指标的计算工作，得到指标结果。

进一步，配置模块包括提数类指标子模块和公式类指标子模块，提数类指标子模块用于存储提数类指标的提数规则；公式类指标子模块用于存储所有的依赖指标以及对应的计算规则。

进一步，运行模块包括提数运算模块和公式计算模块，提数运算模块用于读取事实表源数据以及提数类指标子模块中对应的提数规则，并进行计算；所述公式计算模块，用于读取公式类指标子模块中的依赖指标和对应的计算规则，并进行计算。

本发明的有益技术效果在于：

(1)本发明提供的数据处理方法，提供了一套统一的待计算指标的计算规则配置功能及指标自动装载功能，当指标的计算规则和计算公式发生变化时，由业务用户直接调整指标的相关配置即可生效，无需复杂的配置程序，就能够将事实表中的源数据高效地转变成最终的指标数据，提高了数据的计算效率和数据使用的灵活性。

(2)本发明将所有涉及数据计算的指标，进行统一维护，加强了各个指标间的数据共享，避免了重复操作，提高数据计算效率；