[发明专利]基于内存映射的大数据文件快速并行提取方法在审
| 申请号： | 201910134260.0 | 申请日： | 2019-02-22 |
| 公开（公告）号： | CN109815249A | 公开（公告）日： | 2019-05-28 |
| 发明（设计）人： | 赵乔 | 申请（专利权）人： | 苏州华必讯信息科技有限公司 |
| 主分类号： | G06F16/23 | 分类号： | G06F16/23;H04L29/08 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 215300 江苏省苏州市昆山市玉*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于内存映射的大数据文件快速并行提取方法，包括：任务域生成，将任务块组成任务域，所述任务块为任务域中的元素；任务池生成，将所述任务域中的元素按低通信代价的原则进行子任务域归并，将所述任务域中的元素的集合作为任务调度的任务池，根据调度的选择来提取任务供处理器执行；任务调度，根据任务的剩余量决策任务的调度粒度，将符合要求的任务提取出所述任务池，并为映射做好准备；处理器映射，将所述提取出的任务映射到当前空闲处理器去执行。本发明能够发挥多核的优势，提高内存映射文件的效率，可以应用在单个文件在4GB以下容量的大文件读取中，能够有效提高这类文件的读取速度，提高磁盘文件I/O吞吐率。 | ||
| 搜索关键词： | 任务域 任务池 映射 读取 大数据文件 内存映射 任务调度 任务块 并行 内存映射文件 处理器执行 空闲处理器 磁盘文件 单个文件 调度粒度 任务提取 通信代价 大文件 类文件 剩余量 吞吐率 处理器 多核 归并 集合 调度 决策 应用 | ||
【主权项】：
1.一种基于内存映射的大数据文件快速并行提取方法，包括：任务域生成；将所处理的数据文件内容以64KB为单位划分成任务块， 将任务块组成任务域，所述任务块为任务域中的元素；任务池生成；将所述任务域中的元素按低通信代价的原则进行子任务域 归并，将所述任务域中的元素的集合作为任务调度的任务池，根据调度的选 择来提取任务供处理器执行；任务调度；根据任务的剩余量决策任务的调度粒度，将符合要求的任务 提取出所述任务池，并为映射做好准备；在将任务块组成任务域过程中，基于视图的划分方式进行任务划分，在 映射视图过程中，以一个并行粒度N为映射单位，之后随着任务集中任务量 的逐渐减少，将并行粒度随之调小；处理器映射；将所述提取出的任务映射到当前空闲处理器去执行。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于苏州华必讯信息科技有限公司，未经苏州华必讯信息科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910134260.0/，转载请声明来源钻瓜专利网。
