[发明专利]一种流水化数据洗牌传输的Spark任务调度与执行方法

摘要

本发明公开了一种流水化数据洗牌传输的Spark任务调度与执行方法，从后向前提交并执行阶段和其中的任务，同时采用前驱任务发送执行结果到后继任务的内存，在不改变用户接口，不破坏阶段的完整性和容错性的同时，解决了原本Spark在不同阶段(Stage)中洗牌数据传输(Shuffle)的磁盘读写开销，从而降低了分布式计算程序在Spark上的运行时间。

主权项

一种流水化数据洗牌传输的Spark任务调度与执行方法，其特征在于，包括如下步骤：步骤1：当Spark提交一个任务且该任务被划分成多个阶段进行提交时，首先找到用户执行任务生成结果的最后一个阶段；步骤2：从最后一个阶段开始，判断该阶段是否包含未完成的前驱阶段：如果这个阶段的前驱阶段全部执行完成，则提交该阶段进行执行；如果有前驱阶段没有被执行，则将该阶段标记为等待，同时提交该阶段进行执行，并且递归提交该阶段的前驱阶段；步骤3：在提交一个阶段进行执行之后，调度器将该阶段拆分成多个任务，并判断该阶段：是否为等待阶段：如果该阶段被标记为等待，则调度器向资源管理器请求与任务个数相同的空闲执行节点，调度器获取相应执行任务的执行节点之后，根据该阶段包含的分布式回弹数据集的依赖关系递归向前寻找洗牌传输依赖，调度器每找到一个洗牌传输依赖就会向映射输出追踪表注册该次洗牌传输依赖信息，在注册完成之后，调度器还会通知每一个即将要运行这个任务的执行节点准备好相应的内存来缓存他们前驱任务发送的中间结果；每个执行节点收到调度器的注册信息之后，会在本地缓存中新建一个以洗牌传输依赖ID为索引，值为规约数据块总数的缓存数组的键值对，同时还会在本地新建一个以洗牌传输依赖ID为索引，值为规约数据块总数的信号量数据结构的键值对，其中每个信号量包含这次洗牌传输依赖的洗牌任务映射总数，；否则，直接进入下一步；步骤4：在调度器封装阶段的任务集合时，判断该阶段是否是一个洗牌映射阶段：如果该阶段是一个洗牌映射阶段，则对该阶段中的每个任务都设置对应的洗牌传输依赖ID；否则，直接进入下一步；步骤5：调度器将封装好的任务分发给各个执行节点；步骤6：当任务被分配到每个执行节点的执行器上进行执行时，执行器会判断这个任务是否为洗牌映射任务：如果是，则根据该任务包含的洗牌传输依赖ID，向映射输出追踪表请求该ID对应的规约任务的执行节点的集合信息，然后，设置洗牌映射任务的对应规约信息，将收到的集合信息中的规约数据块号和远程地址封装成一个哈希表传给该洗牌映射任务，并进入步骤7；如果执行器判断该任务为规约任务，调用该规约任务对应的函数进行计算，并进入步骤11；步骤7：当一个洗牌映射任务开始执行时，会检查是否需要流水化数据输出；如果需要，首先根据用户指定的分类器或者Spark默认的分类器将中间结果键值对按照键计算出他对应的规约数据块号，根据设置的数据块号和远程地址哈希表，将计算获得的数据结果发送给对应的负责后继规约任务的执行节点，发送的信息包括：洗牌传输依赖ID，规约数据块号，数据结果的键值对；在发送数据的同时，执行器向磁盘写入数据，并进入步骤8；同时，当负责规约任务的执行节点收到流水数据之后，会将洗牌传输依赖ID作为索引，保存在该洗牌传输依赖ID对应的缓存数组的第规约数据块号的缓存中，进入步骤8；如果不需要，则直接将执行结果写入磁盘，进入步骤8；步骤8：执行器完成洗牌映射任务；步骤9：当一个洗牌映射任务运行结束时，就会向所有的负责规约任务的执行节点发送流水结束信息，该信息包括：洗牌传输依赖ID，该任务负责的映射数据块号，和该条信息对应的执行节点负责的规约数据块号；步骤10：当负责规约任务的执行节点收到流水结束的信息后，会根据洗牌传输依赖ID作为索引，找到该洗牌传输依赖ID对应的信号量数组，将其中第规约数据块号计数器个数CountDownLatch减一，如果这个计数器个数被减到0，则表示该规约数据块依赖的数据映射全部传输结束；步骤11：当执行器执行规约任务的指定函数时，会调用相应的规约函数，该函数在执行任务读取数据时，会向执行节点请求一个读入数据的迭代器；步骤12：在生成迭代器的时候会向执行节点询问这次洗牌传输是否有本地缓存，即是否被流水化数据传输：如果是，则调用执行节点的获取缓存方法，根据规约任务的洗牌传输依赖ID和该任务负责的规约数据块号向执行节点请求缓存，并进入步骤13；否则，读取远程数据，进入步骤15；步骤13：执行节点收到获取缓存的调用后，就会以洗牌传输依赖ID为索引，找到缓存中对应的缓存数组，并且返回第规约数据块号个缓存的异步引用；步骤14：在迭代器收到缓存的异步引用时，开始等待，直到该任务所需的洗牌传输依赖的规约数据块号中的CountDownLatch信号量变为0，表示该规约数据块所依赖的映射数据块全部完成，进入步骤15；步骤15：执行器执行指定规约函数。