[发明专利]基于内存映射的大数据文件快速并行提取方法有效
| 申请号： | 201110209643.3 | 申请日： | 2011-07-25 |
| 公开（公告）号： | CN102231121A | 公开（公告）日： | 2011-11-02 |
| 发明（设计）人： | 马礼;李敬哲;杜春来;马东超 | 申请（专利权）人： | 北方工业大学 |
| 主分类号： | G06F9/46 | 分类号： | G06F9/46;G06F17/30 |
| 代理公司： | 北京康盛知识产权代理有限公司 11331 | 代理人： | 张良 |
| 地址： | 100041 *** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于内存映射的大数据文件快速并行提取方法，包括：任务域生成，将任务块组成任务域，所述任务块为任务域中的元素；任务池生成，将所述任务域中的元素按低通信代价的原则进行子任务域归并，将所述任务域中的元素的集合作为任务调度的任务池，根据调度的选择来提取任务供处理器执行；任务调度，根据任务的剩余量决策任务的调度粒度，将符合要求的任务提取出所述任务池，并为映射做好准备；处理器映射，将所述提取出的任务映射到当前空闲处理器去执行。本发明能够发挥多核的优势，提高内存映射文件的效率，可以应用在单个文件在4GB以下容量的大文件读取中，能够有效提高这类文件的读取速度，提高磁盘文件I/O吞吐率。 | ||
| 搜索关键词： | 基于 内存 映射 数据文件 快速 并行 提取 方法 | ||
【主权项】：
一种基于内存映射的大数据文件快速并行提取方法，包括：任务域生成；将任务块组成任务域，所述任务块为任务域中的元素；任务池生成；将所述任务域中的元素按低通信代价的原则进行子任务域归并，将所述任务域中的元素的集合作为任务调度的任务池，根据调度的选择来提取任务供处理器执行；任务调度；根据任务的剩余量决策任务的调度粒度，将符合要求的任务提取出所述任务池，并为映射做好准备；处理器映射；将所述提取出的任务映射到当前空闲处理器去执行。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北方工业大学，未经北方工业大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201110209643.3/，转载请声明来源钻瓜专利网。
- 上一篇：用于电子防盗标签的金属芯及其制作方法
- 下一篇：畜禽舍养殖环境报警系统
