[发明专利]一种基于数字化内部五级市场考核体系的指标计算方法

说明书

本发明公开一种基于数字化内部五级市场考核体系的指标计算方法，其包括步骤：准备数据标签：将所有指标的计算数据源对应配置信息存储在数据库中，配置信息包括不同指标的不同相关因子数据及其形成的因子表；加载指标公式和相关因子：将所有指标加载至数据中台，Spark读取所指标的计算公式，将计算公式中涉及的所有因子数据及因子表都拉取至spark引擎中；解析指标计算公式：将所有指标jep的jar包反编译得到对应的.java格式的代码，再将.java文件修改为.scala文件嵌入至Spark引擎代码中。本发明通过Spark引擎动态拉取不同数据源的数据带入指标化公式中，以实现自动化动态计算出相关公式化的指标。

技术领域

本发明涉及计算机技术领域，更具体地说，本发明涉及一种基于数字化内部五级市场考核体系的指标计算方法。

背景技术

Spark是加州大学伯克利分校AMP(Algorithms,Machines,and People Lab)实验室开发的通用内存并行计算框架，Spark是大数据中常用的计算引擎。Jep是Javaexpression parser的简称，即java表达式分析器，Jep是一个用来转换和计算数学表达式的java库。通过这个程序包，用户可以以字符串的形式输入一个、任意的公式，然后快速地计算出结果。Jep支持用户自定义变量、常量和函数，包括许多常用的数学函数和常量。

现有技术中，java的单节点内存计算限制导致Jep无法快速实现大规模的数据分析计算功能，通常采用Spark进行大规模的数据分析运算。但是，由于计算引擎只针对微批量数据做计算，在实际的应用中对于可以数学公式化预定义的指标无法做到自动拉取数据带入公式计算出相关结构的功能。

发明内容

针对上述技术中存在的不足之处，本发明提供一种基于数字化内部五级市场考核体系的指标计算方法，用于解决大规模并发数据计算情况下无法自动解析公式化指标的问题，通过Spark引擎动态拉取不同数据源的数据带入指标化公式中，以实现自动化动态计算出相关公式化的指标。

为了实现根据本发明的这些目的和其它优点，本发明通过以下技术方案实现：

本发明实施例提供一种基于数字化内部五级市场考核体系的指标计算方法，其包括以下步骤：

准备数据标签：将所有指标的计算数据源对应配置信息存储在数据库中，所述配置信息包括不同指标的不同相关因子数据及其形成的因子表；

加载指标公式和相关因子：将待计算的所有指标加载至数据中台，Spark读取所有指标的计算公式，将所有指标计算公式中涉及的所有因子数据及因子表都拉取至spark引擎中；

解析指标计算公式：将所有指标jep的jar包反编译得到对应的.java格式的代码，再将.java文件修改为.scala文件嵌入至Spark引擎代码中。

优选的是，将待计算的所有指标加载至数据中台后，还包括步骤：

将所述指标的所有相关因子数据按照Key分组，分别计算出各相关因子的指标值拉取至spark引擎中。

优选的是，解析指标计算公式时，还包括步骤：

若缺省数据源因子数据，根据缺省原因不同将指标赋予不同默认值，备注缺省原因。

优选的是，根据缺省原因不同将指标赋予不同默认值，包括：

若实际没有该数据源因子数据或计算存在错误，将指标赋予默认值0；

若某些指标超出计算范围，将指标赋予默认值20。

优选的是，解析指标计算公式后，还包括步骤：将解析后的数据编码替换为实际因子数据源表中的数据。

优选的是，解析指标计算公式后，还包括步骤：