[发明专利]数据处理平台以及数据处理方法

权利要求书

1.一种数据处理系统，其特征在于，包括：

第一组件，包括采用标准接口封装的第一算法；

第二组件，包括采用标准接口封装的第二算法；

其中，所述标准接口用于使所述第一算法、所述第二算法分别利用数据结构为Dataset的数据进行计算，并输出数据结构为Dataset的计算结果，以使所述第一组件和所述第二组件能够串联；所述第一算法和所述第二算法为不同编程语言所编写的机器学习算法；

所述数据处理系统还包括流程定制单元，所述流程定制单元用于：

按照需要将不同的节点进行连接以制定数据处理的流程，所述不同的节点代表不同的组件；

以及，设置组件的输入参数和输出参数的约束条件；

所述数据处理系统还包括：

第三组件，包括采用标准接口封装的第三算法；所述第三算法为与所述第二算法采用相同的编程语言所编写的机器学习算法；所述标准接口还用于使所述第三算法利用数据结构为Dataset的数据进行计算，并输出数据结构为Dataset的计算结果；

交互单元，用于：根据处理流程中的第一节点，将所述第一组件及第一数据集发送给执行器；接收第一计算结果，所述第一计算结果为执行器利用第一组件处理第一数据集所得到的数据结构为Dataset的计算结果；根据处理流程中的第二节点和第三节点，将所述第二组件、第三组件和所述第一计算结果发送给执行器；其中，所述处理流程中的所述第二节点连接于所述第一节点之后，所述第三节点连接于所述第二节点之后，并且所述第一节点与所述第一组件对应，所述第二节点与所述第二组件对应，所述第三节点与所述第三组件对应；

执行器，用于：利用第一组件处理第一数据集，得到数据为Dataset的第一计算结果；将存储于第一内存中的所述第一计算结果发送给所述交互单元；接收所述交互单元发送的第二组件、第三组件和第一计算结果；利用第二组件处理第一计算结果，得到数据结构为Dataset的第二计算结果；将所述第二计算结果存储于第二内存中；以及，利用第三组件处理第二内存中的第二计算结果，得到数据结构为Dataset的第三计算结果。

2.根据权利要求1所述的数据处理系统，其特征在于，还包括：

交互单元，用于：根据处理流程中的第一节点，将所述第一组件及第一数据集发送给执行器；接收第一计算结果，所述第一计算结果为执行器利用第一组件处理第一数据集所得到的数据结构为Dataset的计算结果；以及，根据处理流程中的第二节点，将所述第二组件和所述第一计算结果发送给执行器；其中，所述处理流程中的所述第二节点连接于所述第一节点之后，并且所述第一节点与所述第一组件对应，所述第二节点与所述第二组件对应。

3.根据权利要求2所述的数据处理系统，其特征在于，还包括：

执行器，用于：利用第一组件处理第一数据集，得到数据结构为Dataset的第一计算结果；将所述第一计算结果发送给所述交互单元；接收所述交互单元发送的第二组件和第一计算结果；以及，利用第二组件处理第一计算结果，得到数据结构为Dataset的第二计算结果。

4.根据权利要求2所述的数据处理系统，其特征在于，所述交互单元还用于：根据处理流程中的第一节点，获取所述第一组件所对应的第一依赖文件；以及，将所述第一依赖文件、所述第一组件和所述第一数据集发送给执行器；

和/或，

所述交互单元还用于：根据处理流程中的第二节点，获取所述第二组件所对应的第二依赖文件；以及，将所述第二依赖文件、所述第二组件和所述第一计算结果发送给执行器。

5.根据权利要求4所述的数据处理系统，其特征在于，还包括：

组件发布单元，用于：获取第四组件对应的第四依赖文件；将所述第四依赖文件与已发布组件的依赖文件进行冲突检测；在发生冲突的情况下输出冲突信息；获取用户根据所述冲突信息输入的合并指令；根据所述合并指令，将与所述第四依赖文件发生冲突的依赖文件更新为所述第四依赖文件；其中，所述第四组件包括采用标准接口封装的第四算法，所述第四算法为机器学习算法，所述标准接口还用于使所述第四算法利用数据结构为Dataset的数据进行计算，并输出数据结构为Dataset的计算结果。

6.一种数据处理方法，其特征在于，所述数据处理方法采用如权利要求1所述的数据处理系统实现，所述数据处理方法包括：

从数据结构为Dataset的第一数据集中获取第一算法的输入数据，利用第一算法计算得到数据结构为Dataset的第一计算结果；

根据流程定制单元制定的数据处理流程和设置的约束条件，从所述第一计算结果中获取第二算法的输入数据，利用第二算法计算得到数据结构为Dataset的第二计算结果；

其中，所述第一算法和所述第二算法为不同编程语言编写的机器学习算法；

其中，所述利用第一算法计算得到数据结构为Dataset的第一计算结果的步骤之后，还包括：

将存储于第一内存中的第一计算结果写入HFDS/磁盘中；

将存储于HFDS/磁盘中的第一计算结果读取到第二内存中；

利用第二算法计算得到数据结构为Dataset的第二计算结果的步骤之后，还包括：

从第二内存中的所述第二计算结果中获取第三算法的输入数据，利用第三算法计算得到数据结构为Dataset的第三计算结果，所述第三算法为与所述第二算法采用相同的编程语言所编写的机器学习算法。