[发明专利]数据处理流程的生成方法、装置和电子设备

说明书

本发明提供一种数据处理流程的生成方法、装置和电子设备，其中方法包括：确定处理待处理数据所需的多个节点；基于多个节点构造数据处理流程结构；其中，所述数据处理流程结构中节点之间的顺序用于指示节点之间的连接关系；基于所述数据处理流程结构中节点之间的顺序，对所述数据处理流程结构进行解析，得到解析数据；基于所述解析数据生成数据处理流程。本发明提供的数据处理流程的生成方法、装置和电子设备，无需逐个连接每个节点，从而提高了数据处理流程的生成效率。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理流程的生成方法、装置和电子设备。

背景技术

Flink和Spark等大数据处理平台在进行数据处理之前，往往需要先生成数据处理流程。

相关技术中，通常通过包装节点，构造流程引擎，然后再使用可视化的流程编辑工具来编辑数据处理流程。

但上述相关技术中，需要逐个创建和编辑每个节点，再保存确认，而且还需要按照数据处理流程逐个连接每个节点，从而降低了数据处理流程的生成效率。

发明内容

针对现有技术存在的问题，本发明提供一种数据处理流程的生成方法、装置和电子设备。

本发明提供一种数据处理流程的生成方法，包括：

确定处理待处理数据所需的多个节点；

基于多个节点构造数据处理流程结构；其中，所述数据处理流程结构中节点之间的顺序用于指示节点之间的连接关系；

基于所述数据处理流程结构中节点之间的顺序，对所述数据处理流程结构进行解析，得到解析数据；

基于所述解析数据生成数据处理流程。

根据本发明提供的一种数据处理流程的生成方法，所述确定处理待处理数据所需的多个节点，包括：

获取流程定义规则；其中，所述流程定义规则是基于处理所述待处理数据时用到的节点、节点的类型和配置信息制定的；所述配置信息用于指示对所述待处理数据在所述节点下进行的数据处理；

基于所述流程定义规则确定处理所述待处理数据所需的所述多个节点；

所述基于所述多个节点构造数据处理流程结构，包括：

基于所述流程定义规则确定所述多个节点中每个节点的类型和配置信息；

基于每个节点的类型和所述配置信息构造数据处理流程结构；

其中，所述节点的类型包括以下任一项：输入节点、输出节点、处理节点和结构节点；所述结构节点包括以下任一项：复制节点、分发节点、联合节点、连接节点和跳转节点。

根据本发明提供的一种数据处理流程的生成方法，所述基于所述数据处理流程结构中节点之间的顺序，对所述数据处理流程结构进行解析，得到解析数据，包括：

基于所述数据处理流程结构中节点之间的顺序，依次读取所述数据处理流程结构中的各个节点；

获取所述各个节点的类型和配置信息；

基于所述各个节点的类型和配置信息对对应节点进行解析，得到所述对应节点的解析数据。

根据本发明提供的一种数据处理流程的生成方法，所述基于所述各个节点的类型和配置信息对对应节点进行解析，得到所述对应节点的解析数据，包括：

在当前节点为输入节点、且所述当前节点为首节点的情况下，基于所述输入节点的配置信息构造输入流；

将所述输入流确定为当前数据流，得到所述当前节点的解析数据。