[发明专利]一种数据处理方法、装置、设备及存储介质

权利要求书

1.一种数据处理方法，其特征在于，所述方法包括：

获取待处理的工作流描述文件；其中，所述工作流描述文件包括至少两个工作流；

将所述工作流描述文件转换为类对象；

调用所述类对象中预先设置的隐藏算子提取算法，从所述类对象中提取隐藏在每个工作流的第一算子和第二算子之间的中间算子；

将所述中间算子增添至每个工作流的所述第一算子和所述第二算子之间；

对具有相同算子的工作流进行算子的合并操作，得到优化后的工作流描述文件；

将所述优化后的工作流描述文件转换成执行器能够执行的程序进行数据处理。

2.根据权利要求1所述的方法，其特征在于，

存在以下至少一种情况时，确定为所述相同算子：

所述至少两个工作流存在相同的第一算子；

所述至少两个工作流存在相同的第二算子；

所述至少两个工作流存在相同的中间算子。

3.根据权利要求1所述的方法，其特征在于，所述工作流描述文件为JSON文件、YAML文件或SPL语法文件。

4.根据权利要求1所述的方法，其特征在于，所述执行器包括用于进行流处理、批处理或数据同步处理的引擎。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在预先建立的注册中心注册每个工作流的标识信息、所述第一算子的输出类型和所述第二算子的输入类型；

所述从所述类对象中提取隐藏在每个工作流的所述第一算子和所述第二算子之间的所述中间算子，包括：

基于每个工作流的标识信息，从所述注册中心提取每个工作流的所述第一算子的输出类型和所述第二算子的输入类型；

基于每个工作流的所述第一算子的输出类型和所述第二算子的输入类型，确定所述中间算子。

6.根据权利要求2所述的方法，其特征在于，所述对具有相同算子的工作流进行算子的合并操作，包括：

所述第一算子为数据源算子时，获取每个工作流的数据源算子的输入数据参数；

对不同工作流中具有相同输入数据参数的数据源算子进行合并操作。

7.根据权利要求6所述的方法，其特征在于，

所述输入数据参数至少包括：数据来源信息和数据类别信息。

8.根据权利要求6所述的方法，其特征在于，所述对具有相同算子的工作流进行算子的合并操作，还包括：

不同工作流中第一中间算子相同，且所述第一中间算子的上游算子也相同，对不同工作流中的所述第一中间算子进行合并；

其中，所述第一中间算子为所述第一算子和所述第二算子之间任意中间算子。

9.根据权利要求8所述的方法，其特征在于，

所述第一中间算子的上游算子为所述第一算子或第二中间算子。

10.一种数据处理装置，其特征在于，所述装置包括：

获取单元，用于获取待处理的工作流描述文件；其中，所述工作流描述文件包括至少两个工作流；

提取单元，用于将所述工作流描述文件转换为类对象；调用所述类对象中预先设置的隐藏算子提取算法，从所述类对象中提取隐藏在每个工作流的第一算子和第二算子之间的中间算子；

增添单元，用于将所述中间算子增添至每个工作流的所述第一算子和所述第二算子之间；

合并单元，用于对具有相同算子的工作流进行算子的合并操作，得到优化后的工作流描述文件；

转换单元，用于将所述优化后的工作流描述文件转换成执行器能够执行的程序进行数据处理。

11.一种电子设备，其特征在于，所述电子设备包括：处理器和配置为存储能够在处理器上运行的计算机程序的存储器，

其中，所述处理器配置为运行所述计算机程序时，执行权利要求1至9任一项所述方法的步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至9任一项所述的方法的步骤。