[发明专利]一种基于多线程的MapReduce执行系统有效
| 申请号： | 201310602222.6 | 申请日： | 2013-11-25 |
| 公开（公告）号： | CN103605576A | 公开（公告）日： | 2014-02-26 |
| 发明（设计）人： | 石宣化;金海;陈明;吴松;陆路 | 申请（专利权）人： | 华中科技大学 |
| 主分类号： | G06F9/50 | 分类号： | G06F9/50 |
| 代理公司： | 华中科技大学专利中心 42201 | 代理人： | 朱仁玲 |
| 地址： | 430074 湖北*** | 国省代码： | 湖北;42 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于多线程的MapReduce执行系统，包括：实现一个多线程的MapReduce执行引擎：将原有Hadoop中Map/Reduce任务的多进程执行模式改为多线程方式；提取Map任务和Reduce任务中对内存使用的细节特征，根据这些特征将MapReduce流程细粒度地分为多个阶段，并将原有Hadoop中shuffle过程由Reduce的拉取改为Map的主动推送；在MapReduce多线程执行引擎内部实现统一的内存管理模块和I/O管理模块，统一管理各个任务线程对内存的使用；设计全局的内存调度和IO调度算法，在作业执行过程中动态调度系统资源。本发明能够在用户完全无需修改原有MapReduce程序的基础上，最大化内存使用，充分利用磁盘带宽，解决原有Hadoop中一直存在的I/O瓶颈问题。 | ||
| 搜索关键词： | 一种 基于 多线程 mapreduce 执行 系统 | ||
【主权项】：
一种基于多线程的MapReduce执行系统，包括：（1）MapReduce多线程任务执行模块，采用多线程方式执行Hadoop中的Map/Reduce任务；（2）细粒度任务执行模块，用于提取Map任务和Reduce任务的内存使用特征，并根据这些特征将MapReduce流程分为多个阶段，并且，采用Map主动推送方式进行Hadoop的shuffle过程；（3）内存管理模块，用于统一管理各个任务线程对内存的使用，包括动态分配和回收各个任务执行过程中使用的内存；（4）I/O管理模块，用于统一管理各个任务线程在执行过程中对本地磁盘的读写请求，最小化磁盘I/O等待时间。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于华中科技大学，未经华中科技大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201310602222.6/，转载请声明来源钻瓜专利网。
