[发明专利]基于内存映射的大数据文件快速并行提取方法

权利要求书

1.一种基于内存映射的大数据文件快速并行提取方法，包括：

任务域生成；将所处理的数据文件内容以64KB为单位划分成任务块， 将任务块组成任务域，所述任务块为任务域中的元素；

任务池生成；将所述任务域中的元素按低通信代价的原则进行子任务域 归并，将所述任务域中的元素的集合作为任务调度的任务池，根据调度的选 择来提取任务供处理器执行；

任务调度；根据任务的剩余量决策任务的调度粒度，将符合要求的任务 提取出所述任务池，并为映射做好准备；

在将任务块组成任务域过程中，基于视图的划分方式进行任务划分，在 映射视图过程中，以一个并行粒度N为映射单位，之后随着任务集中任务量 的逐渐减少，将并行粒度随之调小；

处理器映射；将所述提取出的任务映射到当前空闲处理器去执行。

2.如权利要求1所述的基于内存映射的大数据文件快速并行提取方法， 其特征在于：所述任务域生成过程中，选取初始化文件信息/任务池，创建文 件核心对象。

3.如权利要求1所述的基于内存映射的大数据文件快速并行提取方法， 其特征在于：所述任务池生成过程中，为每个线程设置自己的任务队列，并 对任务队列进行初始化，根据开设线程的总数目将其中的任务均匀分配给各 个任务队列。

4.如权利要求1所述的基于内存映射的大数据文件快速并行提取方法， 其特征在于：所述任务调度过程中，将多个线程分别分配到各个处理器核心 进行处理，每个线程创建各自的内存映射对象。

5.如权利要求4所述的基于内存映射的大数据文件快速并行提取方法， 其特征在于：各个线程分别创建自己的内存映射对象，为后续访问工作做好 准备。

6.如权利要求5所述的基于内存映射的大数据文件快速并行提取方法， 其特征在于：检索任务队列，提取访问任务，各执行线程提取自己的访问任 务，判断任务队列是否为空，如果任务队列为空则将当前线程处理工作终止； 如果任务队列不为空，则提出的一个任务作为本次执行任务。

7.如权利要求1所述的基于内存映射的大数据文件快速并行提取方法， 其特征在于，所述处理器映射过程包括：映射视图、读取处理数据和解除视 图映射三个步骤。

8.如权利要求7所述的基于内存映射的大数据文件快速并行提取方法， 其特征在于：在所述映射视图过程中，各执行线程从文件起始位置按照所述 调度粒度进行映射。

9.如权利要求7所述的基于内存映射的大数据文件快速并行提取方法， 其特征在于：在读取处理数据过程中，各执行线程根据访问及处理的需要， 对本视图下的数据进行操作。