[发明专利]一种基于弹性分布式数据集的Stage划分方法和终端

摘要

本发明实施例提供一种基于弹性分布式数据集的Stage划分方法和终端，涉及大数据领域，能够缩短Spark作业的执行时间。其方法为：首先，终端创建应用程序的RDD的有向无环图DAG；接着终端对DAG中的RDD划分Stage，并在任一子RDD同时存在宽依赖和窄依赖时，将子RDD、与子RDD存在宽依赖的父RDD和与子RDD存在窄依赖的父RDD划分至不同的Stage；而后终端并行执行与子RDD存在宽依赖的父RDD和与子RDD存在窄依赖的父RDD对应的任务后，执行子RDD对应的任务。本发明实施例应用于内存计算中对基于RDD的Stage进行划分和执行。

主权项

1.一种基于弹性分布式数据集RDD的Stage划分方法，其特征在于，包括：/n终端创建应用程序的RDD的有向无环图DAG；/n所述终端对所述DAG中的RDD划分Stage，并在任一子RDD同时存在宽依赖和窄依赖时，将所述子RDD、与所述子RDD存在所述宽依赖的父RDD和与所述子RDD存在所述窄依赖的父RDD划分至不同的Stage；/n所述终端并行执行与所述子RDD存在所述宽依赖的父RDD所在的Stage和与所述子RDD存在窄依赖的父RDD所在的Stage对应的任务后，执行所述子RDD所在的Stage对应的任务。/n