[发明专利]数据的并行处理

权利要求书

1.一种由一个或者多个处理器执行的计算机实施的方法，所述方法包括：

在非置信处理环境中分析包括数据并行流水线的非置信应用以产生用于所述非置信应用的数据流图形；

在与所述非置信处理环境相关联的置信处理环境中接收用于所述非置信应用的所述数据流图形；

在所述置信处理环境中将所述数据流图形变换成用于所述非置信应用的修正的数据流图形，所述修正的数据流图形包括一个或者多个延缓的数据对象和各自与由所述非置信应用调用的一个或者多个非置信函数对应的一个或者多个延缓的并行操作；以及

在一个或者多个非置信工作器环境中执行与所述延缓的并行操作对应的所述非置信函数以产生与所述延缓的数据对象对应的具体化的并行数据对象，每个非置信工作器环境与置信工作器环境相关联。

2.根据权利要求1所述的方法，其中所述非置信处理环境包括第一虚拟机，并且所述一个或者多个非置信工作器环境包括一个或者多个附加虚拟机。

3.根据权利要求2所述的方法，其中所述第一虚拟机和所述一个或者多个附加虚拟机是硬件虚拟机。

4.根据权利要求1所述的方法，其中在所述一个或者多个非置信工作器环境中执行与所述延缓的并行操作相关联的所述非置信函数包括：

从所述非置信工作器环境以外向所述非置信工作器环境中传达输入批处理记录，所述输入批处理记录包括多个个别输入记录；以及

对所述输入批处理中的所述个别记录中的每个记录执行与所述延缓的组合操作相关联的所述非置信函数中的至少一个非置信函数以生成输出记录；

将所述输出记录汇集成输出批处理；以及

在所述非置信工作器环境以外传达所述输出批处理。

5.根据权利要求1所述的方法，还包括将所述非置信应用的输出发送到请求执行所述非置信应用的客户端系统。

6.根据权利要求1所述的方法，其中：

所述延缓的并行操作包括至少一个广义映射精简操作，所述广义映射精简操作包括多个并行映射操作和多个并行精简操作，并且所述广义映射精简操作可转译成单个映射精简操作，所述单个映射精简操作包括用于实施所述多个并行映射操作的单个映射函数和用于实施所述多个并行精简操作的单个精简函数，所述单个映射函数和所述单个精简函数包括所述非置信函数中的一个或者多个非置信函数。

7.根据权利要求6所述的方法，其中：

执行所述延缓的并行操作包括将所述广义映射精简操作转译成所述单个映射精简操作；并且

在所述一个或者多个非置信工作器环境中执行与所述延缓的并行操作相关联的所述非置信函数包括在所述一个或者多个非置信工作器环境中执行所述单个映射函数和所述单个精简函数。

8.根据权利要求1所述的方法，其中接收用于所述非置信应用的所述数据流图形包括接收远程过程调用。

9.根据权利要求8所述的方法，还包括审核所述远程过程调用。

10.一种用于处理数据的系统，包括：

存储器；以及

处理器，配置成：

在非置信处理环境中分析包括数据并行流水线的非置信应用以产生用于所述非置信应用的数据流图形；

在与所述非置信处理环境相关联的置信处理环境中接收用于所述非置信应用的所述数据流图形；

在所述置信处理环境中将所述数据流图形变换成用于所述非置信应用的修正的数据流图形，所述修正的数据流图形包括一个或者多个延缓的数据对象和各自与由所述非置信应用调用的一个或者多个非置信函数对应的一个或者多个延缓的并行操作；以及

在一个或者多个非置信工作器环境中执行与所述延缓的并行操作对应的所述非置信函数以产生与所述延缓的数据对象对应的具体化的并行数据对象，每个非置信工作器环境与置信工作器环境相关联。