[发明专利]异构环境中并行计算调度方法

摘要

本发明涉及并行计算领域，公开了一种异构环境中并行计算调度方法，该方法通过建构多种内存不同的JVM任务槽以及空闲任务槽数组，将并行计算作业中的任务分为I/O密集型和CPU密集型，并把上述任务指定到合适的任务槽进行计算，达到优化异构环境中并行计算效率的目的。本发明的优点在于，实现了动态地确定任务所需要的内存大小和类型，提高了异构集群的资源利用率，减少了并行计算作业的总体运行时间，避免了任务运行过程中内存溢出的情况。

主权项

一种异构环境中并行计算调度方法，其特征在于，包括以下具体步骤：1）在异构集群上构建多个JVM任务槽，所述多个JVM任务槽分别由不同或者相同大小的内存空间组成，所述异构集群包括主节点以及从节点，JVM任务槽位于从节点上；2）主节点对所有从节点的I/O利用率和CPU利用率进行监控，并构建空闲任务槽数组Q1以及Q2，所述空闲任务槽数组Q1以及Q2分别由一个或者多个JVM任务槽组成；3）搭建于异构集群上的分布式文件系统接收用户上载的待处理的输入数据，并将输入数据以数据块的形式存储在异构集群的节点上；分布式文件系统接收用户提交的并行计算作业；4）对并行计算作业进行预测试，在预测试过程中计算并行计算作业中每个任务在运行时所需要的内存空间大小；5）根据预测试在运行时输出的数据大小和运行时间，将并行计算作业中的任务分为I/O密集型和CPU密集型；6）建立调度队列，将并行计算作业的任务加入调度队列，依次运行调度队列中的任务，如果任务为I/O密集型，则执行步骤7）；如果任务为CPU密集型，则执行步骤8）；7）在空闲任务槽数组Q1中选择一个JVM任务槽，在该选定的JVM任务槽内运行任务，如果任务运行成功，则执行步骤9）；否则重复执行步骤7）；8）在空闲任务槽数组Q2中选择一个JVM任务槽，在该选定的JVM任务槽内运行任务，如果任务运行成功，则执行步骤9）；否则重复执行步骤8）；9）等待调度队列中的任务均运行结束，导出运行结果。