[发明专利]面向大数据的指标分类方法

摘要

本发明属于大数据分析技术领域，具体涉及一种面向大数据的指标分类方法，所述方法基于指标分类系统来实施，所述系统包括：预处理模块、系统定义模块、数据融合模块、模型建立模块、分布式算法引擎；所述方法包括：预处理、系统定义、对海量数据进行获取、预处理、转化和写入，建立指标分类模型、驱动指标分类模型；该方法可以在数据分析时能够科学、准确、有效的对海量数据进行处理和分析。

主权项

一种面向大数据的指标分类方法，其特征在于，所述方法基于指标分类系统来实施，所述系统包括：预处理模块、系统定义模块、数据融合模块、模型建立模块、分布式算法引擎；所述方法包括如下步骤：步骤1：由所述预处理模块根据业务需求分析，收集相关的信息，包括业务需求方案、技术要求方案、项目管理计划要求；步骤2：由系统定义模块对业务类别进行分析定义、对数据分析维度进行分析、梳理和划分，对数据分析颗粒进行分析定义、对数据指标类别进行分析定义；步骤3：由数据融合模块对海量数据进行获取、预处理、转化和写入；步骤4：由模型建立模块建立指标分类模型；所述指标分类模型建立包括：设定分类模型设计思想；定义分类模型；确定分类模型设计方式；步骤5：由分布式算法引擎驱动指标分类模型；分布式算法引擎由许多不同的算法库和算法调度元数据组成，分布式算法引擎与传统的算法引擎不同，可以根据指标分类模型的设计要求，按照分类模型设计方式的不同，将海量数据进行分类和切割，形成多个不同的算法单元，每个算法单元的调用都依赖于算法调度元数据，通过算法调度元数据的合成，将每个算法单元结果汇集，输出指标的分类结果。