[发明专利]龙芯大数据一体机的任务优化调度方法及系统

说明书

本发明公开了一种龙芯大数据一体机的任务优化调度方法及系统，通过估算任务处理时间，结合CPU利用率，采用遗传算法对待处理任务队列进行认为的优化调度，采用遗传算法对待处理任务队列进行认为的优化调度，不仅加快了龙芯大数据一体机多任务的处理速度，且有效提高了并行效率。

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种龙芯大数据一体机的任务优化调度方法及系统。

背景技术

大数据一体机作为一种边缘智能技术，是云计算的有效补充，能够显著减轻云计算中心的计算负载和通信代价。龙芯大数据一体机为采用龙芯3B处理器研制的国产大数据处理系统，其基本组成包括1个管理节点、5个计算节点和1个万兆交换机，处理速度峰值超过1.5万亿次/秒，能够实现大数据的传输、存储、处理和分析等功能。

负载均衡是大数据一体机实现高性能计算的关键技术，其核心为任务调度。由于龙芯为MIPS架构处理器，基于X86指令集开发封装的负载均衡系统无法移植到龙芯大数据一体机使用；Hadoop的负载均衡机制虽然为开源系统，但是主要是面向虚拟机的，且需要对硬盘等外设进行多次输入/输出操作。由于龙芯较Intel酷睿等处理器的性能有一定差距，虚拟机的采用降低了服务器性能，同时，频繁的输入/输出操作影响了龙芯大数据一体机对大数据的高效处理。因此，需要研发面向MIPS架构的龙芯大数据一体机任务调度方法。

相关的大数据处理任务调度方法主要包括：FIFO调度算法、LATE算法、计算能力调度算法和基于人工智能的优化调度算法等，这些算法主要根据计算节点性能、任务处理所需要的资源、任务优先级等，进行任务调度，以实现负载均衡，但上述算法均假设各任务的处理时间已知，实际应用中无法满足该前提条件；且虚拟机本身需要占用节点资源，不适用于龙芯大数据一体机系统。

发明内容

本发明的目的是提供一种龙芯大数据一体机的任务优化调度方法及系统，不仅加快了龙芯大数据一体机多任务的处理速度，且有效提高了并行效率。

本发明的目的是通过以下技术方案实现的：

一种龙芯大数据一体机的任务优化调度方法，包括：

读取各个待处理任务对应的源程序，通过MIPS编译器对每一源程序完成编译处理，生成可执行文件和汇编文件；

对每一汇编文件进行处理，获得相应源程序对应的指令总数，并结合读取到的计算节点CPU主频，估计相应待处理任务的处理时间；

根据读取到的各计算节点CPU的利用率、以及各待处理任务的处理时间，采用遗传算法获得使任务处理时间最短的任务调度方案；

根据获得的任务调度方案，将待处理任务对应的可执行文件分配至相应计算节点的CPU进行处理。

一种龙芯大数据一体机的任务优化调度系统，包括：

任务管理模块，用于读取各个待处理任务对应的源程序，通过MIPS编译器对每一源程序完成编译处理，生成可执行文件和汇编文件；

任务处理时间估算模块，用于对汇编文件进行处理，获得相应源程序对应的指令总数，并结合读取到的计算节点CPU主频，估计相应待处理任务的处理时间；

任务调度方案优化模块，用于根据读取到的各计算节点CPU的利用率、以及各待处理任务的处理时间，采用遗传算法获得使任务处理时间最短的任务调度方案；

任务分配模块，用于根据获得的任务调度方案，将待处理任务对应的可执行文件分配至相应计算节点的CPU进行处理。

由上述本发明提供的技术方案可以看出，通过估算任务处理时间，结合CPU利用率，采用遗传算法对待处理任务队列进行认为的优化调度，采用遗传算法对待处理任务队列进行认为的优化调度，不仅加快了龙芯大数据一体机多任务的处理速度，且有效提高了并行效率。