[发明专利]一种基于多线程的MapReduce执行系统有效
申请号: | 201310602222.6 | 申请日: | 2013-11-25 |
公开(公告)号: | CN103605576A | 公开(公告)日: | 2014-02-26 |
发明(设计)人: | 石宣化;金海;陈明;吴松;陆路 | 申请(专利权)人: | 华中科技大学 |
主分类号: | G06F9/50 | 分类号: | G06F9/50 |
代理公司: | 华中科技大学专利中心 42201 | 代理人: | 朱仁玲 |
地址: | 430074 湖北*** | 国省代码: | 湖北;42 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 多线程 mapreduce 执行 系统 | ||
1.一种基于多线程的MapReduce执行系统,包括:
(1)MapReduce多线程任务执行模块,采用多线程方式执行Hadoop中的Map/Reduce任务;
(2)细粒度任务执行模块,用于提取Map任务和Reduce任务的内存使用特征,并根据这些特征将MapReduce流程分为多个阶段,并且,采用Map主动推送方式进行Hadoop的shuffle过程;
(3)内存管理模块,用于统一管理各个任务线程对内存的使用,包括动态分配和回收各个任务执行过程中使用的内存;
(4)I/O管理模块,用于统一管理各个任务线程在执行过程中对本地磁盘的读写请求,最小化磁盘I/O等待时间。
2.根据权利要求1所述的基于多线程的MapReduce执行系统,其中,所述采用多线程方式执行Hadoop中的Map/Reduce任务具体为:在MapReduce集群中的任一个TaskTracker节点上,除了原有的TaskTracker进程之外,还开启一个多线程任务执行引擎,当TaskTracker被分配到一个Map任务或Reduce任务时,将该任务交给多线程任务执行引擎以多线程的方式执行。
3.根据权利要求1所述的基于多线程的MapReduce执行系统,其中,所述内存使用的方式包括Map任务中的排序缓冲区,Map任务中的发送缓冲区和Reduce任务中的接收缓冲区。
4.根据权利要求1所述的基于多线程的MapReduce执行系统,其中,所述细粒度任务执行具体为:将Map任务分为Map函数执行、中间部分结果排序、将部分结果归并为最终结果和最终结果推送;将Reduce任务分为Map数据接收、数据排序、Reduce函数执行和Reduce结果写到HDFS。
5.根据权利要求3所述的基于多线程的MapReduce执行系统,其中,所述Map主动推送具体为:一旦Map任务执行完成,将其结果数据缓存在所述发送缓冲区中,然后主动推送所述发送缓冲区中的数据到Reduce任务的所述接收缓冲区中。
6.根据权利要求1所述的基于多线程的MapReduce执行系统,其中,所述内存管理模块和所述I/O管理模块以单例模式在MapReduce多线程任务执行模块中运行,各个任务对内存的使用通过内存管理模块来调度分配,各个任务进行的磁盘读写操作通过I/O管理模块来统一管理。
7.根据权利要求1所述的基于多线程的MapReduce执行系统,其中,所述内存管理模块分为三层:最上一层为全局内存管理模块,中间一层为Map内存管理模块和Reduce内存管理模块,最下一层为具体的各个Map任务和Reduce任务。
8.根据权利要求7所述的基于多线程的MapReduce执行,其中,全局内存管理模块用于协调Map内存管理模块和Reduce内存管理模块的内存使用配额;Map内存管理模块用于管理所有Map任务的内存使用请求;Reduce内存管理用于所有Reduce任务的内存使用请求。
9.根据权利要求1所述的基于多线程的MapReduce执行系统,其中,内存管理模块在分配内存时根据各个内存使用类型的优先级的原则,具体为:发送缓冲区>发送缓冲区>接收缓冲区,而回收内存时的优先级跟分配内存时的优先级相反。
10.根据权利要求9所述的基于多线程的MapReduce执行系统,其中,当内存请求类型相同时,采用FIFO的策略来分配内存;当内存请求类型不同时,根据优先级来处理内存使用请求。
11.根据权利要求1所述的基于多线程的MapReduce执行系统,其中,I/O管理模块包括写请求管理子模块和读请求管理子模块,在读/写请求管理子模块中针对同一个文件的读/写请求都对应一个读/写请求队列,用于缓存所要读/写的数据。
12.根据权利要求3所述的基于多线程的MapReduce执行系统,其中,I/O管理模块使用交错I/O和异步I/O,其中交错I/O是指多个I/O请求按照一定的粒度交错地进行I/O;异步I/O是指I/O管理模块用独立的线程来进行I/O操作,以重叠CPU计算和磁盘I/O。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华中科技大学,未经华中科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201310602222.6/1.html,转载请声明来源钻瓜专利网。