[发明专利]数据分析方法及装置

说明书

技术领域

本发明属于数据处理领域，尤其涉及一种数据分析方法及装置。

背景技术

数据分析过程中往往包含大量的数据清洗、特征平滑、特征规范化、特征提炼、特征选择等处理节点。在传统数据分析中，对于每一个处理节点，都会产生对应的中间数据，生成的中间数据需要进行落地处理，由于中间数据用于作为下一个处理节点的上游数据依赖，下一个数据节点需要加载上一个数据节点落地后的中间数据作为其输入。

在传统数据分析中，上下两个处理节点通过落地的中间数据进行链接，数据每经过一个处理节点就需要做一次数据加载和落地，对于海量数据或者复杂的数据分析过程来说，中间数据的数据量巨大，不仅导致计算资源、输入输出(IO)的资源浪费，而且数据加载和落地也会严重影响数据分析的效率。

发明内容

本发明提供一种数据分析方法及装置，用于解决现有数据分析中数据每经过一个处理节点就需要做一次数据加载和落地，不仅导致资源费，且影响数据分析的效率的问题。

为了实现上述目的，本发明提供了一种数据分析方法，包括：

构建数据分析流程中各处理节点对应的处理模型；

将各处理模型按照依赖关系依次连接生成处理模块；

利用连接后的处理模型对待处理的原始数据进行处理以得到目标数据。

为了实现上述目的，本发明提供了一种数据分析装置，包括：

构建模块，用于构建数据分析流程中各处理节点对应的处理模型；

连接模块，用于将各处理模型按照依赖关系进行连接；

处理模块，用于利用连接后的处理模型对待处理的原始数据进行以处理以得到目标数据。

本发明提供的数据分析方法及装置，通过构建数据分析流程中各处理节点对应的处理模型，将各处理模型按照依赖关系依次连接，利用连接后的处理模型对待处理的原始数据进行处理以得到目标数据。本发明中各处理模型按照依赖关系直接连接，上一个处理模型的输出可以直接输入到下一个处理模型中，中间数据不再进行落地，节省资源，并且省略中间数据的加载过程，提高了数据分析效率。

附图说明

图1为本发明实施例一的数据分析方法的流程示意图；

图2为本发明实施例二的数据分析方法的流程示意图；

图3为本发明实施例二的DAG图；

图4为本发明实施例二的数据分析方法的应用示例示意图之一；

图5为本发明实施例三的数据分析方法的流程示意图；

图6为本发明实施例四的数据分析装置的结构示意图；

图7为本发明实施例五的数据分析装置的结构示意图。

具体实施方式

下面结合附图对本发明实施例提供的评估指标获取方法及装置进行详细描述。

实施例一

如图1所示，其为本发明实施例一的数据分析方法的流程示意图。该数据分析方法包括以下步骤：

S101、构建数据分析流程中各处理节点对应的处理模型。

首先，对设定的数据分析流程进行分析，获取每个数据分析流程中各处理节点，在获取到各处理节点后，能够依据各处理节点的功能，构 建每个处理节点相应的处理模型。

例如，该数据分析流程中包括有特征平滑、特征归一化、特征提取、特征选择等处理节点，这些处理节点都有特定的处理功能，这些处理节点能够对输入的数据进行处理以得到一个相应的结果，这个结果在数据分析流程中就是中间数据。例如特征归一化用于将原始数据基于每个特征的均值和标准差进行归一化处理，归一化处理后的数据就是该特征归一化的中间数据。本实施例中，为了避免产生中间数据，将特征归一化这个处理节点进行模型化，特征归一化处理模型对输入的数据具有数据转换功能，该处理模型能够记录每个特征均值和标准差，能够对原始数据进行转换。

S102、将各处理模型按照依赖关系进行连接。

在对数据分析流程进行分析时，需要获取到各处理模型的依赖关系，当构建出各处理节点对应的处理模型后，按照处理节点之间的依赖关系，将各处理模型依次有序地串联起。为了使各处理模型能够直接连接，需要设置有数据接口，本实施例中，各处理模型的数据接口是统一的，经过数据接口依据依赖关系将各处理模型进行顺次连接后，数据分析流程就可以转换成一个有序的执行逻辑。

S103、利用连接后的处理模型对待处理的原始数据进行处理以得到目标数据。