[发明专利]面向大数据的指标分类方法

说明书

本发明属于大数据分析技术领域，具体涉及一种面向大数据的指标分类方法，所述方法基于指标分类系统来实施，所述系统包括：预处理模块、系统定义模块、数据融合模块、模型建立模块、分布式算法引擎；所述方法包括：预处理、系统定义、对海量数据进行获取、预处理、转化和写入，建立指标分类模型、驱动指标分类模型；该方法可以在数据分析时能够科学、准确、有效的对海量数据进行处理和分析。

技术领域

本发明属于大数据分析技术领域，具体涉及一种面向大数据的指标分类方法。

背景技术

随着国际国内信息化建设的快速发展，各政府、行业、企事业单位等机构的业务数据已经呈现一种井喷式的数据增长趋势，积累了海量的用户行为数据、企业运行数据、行业运营数据、政府行政数据等，如何更好的运用这些沉淀的历史数据和正在快速增长的生产、运营数据，成为了现在政府、行业、企事业单位重点关注的问题。因此，在数据分析过程中，指标分类直接关系到数据分析结果的准确性、科学性和有效性，指标的分类已然成为一个重要的、迫在眉睫的问题。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何提供一种在数据分析时能够科学、准确、有效的对海量数据进行处理和分析的面向大数据的指标分类方法。

(二)技术方案

为解决上述技术问题，本发明提供一种面向大数据的指标分类方法，所述方法基于指标分类系统来实施，所述系统包括：预处理模块、系统定义模块、数据融合模块、模型建立模块、分布式算法引擎；

所述方法包括如下步骤：

步骤1：由所述预处理模块根据业务需求分析，收集相关的信息，包括业务需求方案、技术要求方案、项目管理计划要求；

步骤2：由系统定义模块对业务类别进行分析定义、对数据分析维度进行分析、梳理和划分，对数据分析颗粒进行分析定义、对数据指标类别进行分析定义；

步骤3：由数据融合模块对海量数据进行获取、预处理、转化和写入；

步骤4：由模型建立模块建立指标分类模型；

所述指标分类模型建立包括：设定分类模型设计思想；定义分类模型；确定分类模型设计方式；

步骤5：由分布式算法引擎驱动指标分类模型；

分布式算法引擎由许多不同的算法库和算法调度元数据组成，分布式算法引擎与传统的算法引擎不同，可以根据指标分类模型的设计要求，按照分类模型设计方式的不同，将海量数据进行分类和切割，形成多个不同的算法单元，每个算法单元的调用都依赖于算法调度元数据，通过算法调度元数据的合成，将每个算法单元结果汇集，输出指标的分类结果。

其中，所述步骤2中，对业务类别进行分析定义是：在技术要求文件中技术限定的条件下，根据步骤1中需求分析，对分析的业务领域进行分析。

其中，所述步骤2中，对数据分析维度进行分析、梳理和划分是：维度即分析事物的角度，海量数据的分析维度就是根据步骤1中的需求分析，对海量数据的维度进行分析、梳理和划分。

其中，所述步骤2中，对数据分析颗粒进行分析定义是：数据分析颗粒即数据汇总的程度，数据分析颗粒就是根据步骤1中的需求分析，对海量数据的汇总程度进行分类。

其中，所述步骤2中，对数据指标类别进行分析定义是：数据指标类别即指标服务的群体类别，指标类别就是根据步骤1中的需求分析，对海量数据指标类别根据服务的群体进行分类。

其中，所述步骤3中，数据获取：与各类数据源建立获取接口，包括内部数据获取接口和外部数据获取接口。内部数据获取接口从数据仓库中获取数据，外部数据获取接口从传感器、互联网等获取数据，共同为分布式文件系统输入数据。