[发明专利]一种基于多线程的MapReduce执行系统有效

专利信息
申请号: 201310602222.6 申请日: 2013-11-25
公开(公告)号: CN103605576A 公开(公告)日: 2014-02-26
发明(设计)人: 石宣化;金海;陈明;吴松;陆路 申请(专利权)人: 华中科技大学
主分类号: G06F9/50 分类号: G06F9/50
代理公司: 华中科技大学专利中心 42201 代理人: 朱仁玲
地址: 430074 湖北*** 国省代码: 湖北;42
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 基于 多线程 mapreduce 执行 系统
【权利要求书】:

1.一种基于多线程的MapReduce执行系统,包括:

(1)MapReduce多线程任务执行模块,采用多线程方式执行Hadoop中的Map/Reduce任务;

(2)细粒度任务执行模块,用于提取Map任务和Reduce任务的内存使用特征,并根据这些特征将MapReduce流程分为多个阶段,并且,采用Map主动推送方式进行Hadoop的shuffle过程;

(3)内存管理模块,用于统一管理各个任务线程对内存的使用,包括动态分配和回收各个任务执行过程中使用的内存;

(4)I/O管理模块,用于统一管理各个任务线程在执行过程中对本地磁盘的读写请求,最小化磁盘I/O等待时间。

2.根据权利要求1所述的基于多线程的MapReduce执行系统,其中,所述采用多线程方式执行Hadoop中的Map/Reduce任务具体为:在MapReduce集群中的任一个TaskTracker节点上,除了原有的TaskTracker进程之外,还开启一个多线程任务执行引擎,当TaskTracker被分配到一个Map任务或Reduce任务时,将该任务交给多线程任务执行引擎以多线程的方式执行。

3.根据权利要求1所述的基于多线程的MapReduce执行系统,其中,所述内存使用的方式包括Map任务中的排序缓冲区,Map任务中的发送缓冲区和Reduce任务中的接收缓冲区。

4.根据权利要求1所述的基于多线程的MapReduce执行系统,其中,所述细粒度任务执行具体为:将Map任务分为Map函数执行、中间部分结果排序、将部分结果归并为最终结果和最终结果推送;将Reduce任务分为Map数据接收、数据排序、Reduce函数执行和Reduce结果写到HDFS。

5.根据权利要求3所述的基于多线程的MapReduce执行系统,其中,所述Map主动推送具体为:一旦Map任务执行完成,将其结果数据缓存在所述发送缓冲区中,然后主动推送所述发送缓冲区中的数据到Reduce任务的所述接收缓冲区中。

6.根据权利要求1所述的基于多线程的MapReduce执行系统,其中,所述内存管理模块和所述I/O管理模块以单例模式在MapReduce多线程任务执行模块中运行,各个任务对内存的使用通过内存管理模块来调度分配,各个任务进行的磁盘读写操作通过I/O管理模块来统一管理。

7.根据权利要求1所述的基于多线程的MapReduce执行系统,其中,所述内存管理模块分为三层:最上一层为全局内存管理模块,中间一层为Map内存管理模块和Reduce内存管理模块,最下一层为具体的各个Map任务和Reduce任务。

8.根据权利要求7所述的基于多线程的MapReduce执行,其中,全局内存管理模块用于协调Map内存管理模块和Reduce内存管理模块的内存使用配额;Map内存管理模块用于管理所有Map任务的内存使用请求;Reduce内存管理用于所有Reduce任务的内存使用请求。

9.根据权利要求1所述的基于多线程的MapReduce执行系统,其中,内存管理模块在分配内存时根据各个内存使用类型的优先级的原则,具体为:发送缓冲区>发送缓冲区>接收缓冲区,而回收内存时的优先级跟分配内存时的优先级相反。

10.根据权利要求9所述的基于多线程的MapReduce执行系统,其中,当内存请求类型相同时,采用FIFO的策略来分配内存;当内存请求类型不同时,根据优先级来处理内存使用请求。

11.根据权利要求1所述的基于多线程的MapReduce执行系统,其中,I/O管理模块包括写请求管理子模块和读请求管理子模块,在读/写请求管理子模块中针对同一个文件的读/写请求都对应一个读/写请求队列,用于缓存所要读/写的数据。

12.根据权利要求3所述的基于多线程的MapReduce执行系统,其中,I/O管理模块使用交错I/O和异步I/O,其中交错I/O是指多个I/O请求按照一定的粒度交错地进行I/O;异步I/O是指I/O管理模块用独立的线程来进行I/O操作,以重叠CPU计算和磁盘I/O。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华中科技大学,未经华中科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201310602222.6/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top