[发明专利]Hadoop文件处理方法、装置、存储介质及服务器

权利要求书

1.一种Hadoop文件处理方法，其特征在于，包括：

接收终端设备下发的Hadoop文件处理指令，并从所述Hadoop文件处理指令中提取文件筛选维度、文件筛选范围以及文件处理方式；

按照所述文件筛选维度对预设的第一文件信息表中的文件条目进行升序排序，得到第二文件信息表，所述第一文件信息表用于存储Hadoop分布式文件系统中的文件信息；

在所述第二文件信息表中查找第一文件条目和第二文件条目，所述第一文件条目为顺序查找到的第一个满足所述文件筛选范围的下限的文件条目，所述第二文件条目为逆序查找到的第一个满足所述文件筛选范围的上限的文件条目；

按照所述文件处理方式对指定文件集合进行处理，所述指定文件集合为由所述第一文件条目和所述第二文件条目之间的各个文件条目所对应的各个文件组成的集合。

2.根据权利要求1所述的Hadoop文件处理方法，其特征在于，若所述文件处理方式为并行处理方式，则所述按照所述文件处理方式对指定文件集合进行处理包括：

根据下式计算文件处理任务的数目：

TaskNum＝Ceil(TotalNum/FileNum)

其中，TotalNum为所述指定文件集合中的文件数目，FileNum为预设的单任务处理文件数目，Ceil为向上取整函数，TaskNum为文件处理任务的数目；

根据下式计算第一线程数目，所述第一线程数目为完成各个文件处理任务所需的线程数目：

ThreadNum＝Ceil(TaskNum/StdNum)

其中，StdNum为预设的基准值，ThreadNum为所述第一线程数目；

根据下式计算第二线程数目，所述第二线程数目为在考虑预设的限制条件下，完成各个文件处理任务所需的线程数目：

ThreadNum’＝Min(ThreadNum,LmtNum)

其中，Min为求最小值函数，LmtNum为预设的线程数目极限值，ThreadNum’为所述第二线程数目；

按照所述第二线程数目调用线程组对所述指定文件集合进行处理。

3.根据权利要求2所述的Hadoop文件处理方法，其特征在于，所述按照所述第二线程数目调用线程组对所述指定文件集合进行处理包括：

按照预设的轮询机制从所述线程组中选取一个线程作为目标处理线程；

向目标范围中的各个线程分别发送任务查询请求，并分别接收所述目标范围中的各个线程反馈的待处理任务数目，所述目标范围中包括所述目标处理线程、直接关联线程以及间接关联线程，所述直接关联线程为与所述目标处理线程相关联的线程，所述间接关联线程为与所述直接关联线程相关联的线程；

根据所述目标范围中的各个线程的待处理任务数目从所述目标范围中选取一个线程作为优选处理线程；

若所述优选处理线程为所述目标处理线程，则将当前的文件处理任务发送至所述目标处理线程进行处理；

若所述优选处理线程不是所述目标处理线程，则将所述优选处理线程确定为新的目标处理线程。

4.根据权利要求3所述的任务处理方法，其特征在于，所述根据所述目标范围中的各个线程的待处理任务数目从所述目标范围中选取一个线程作为优选处理线程包括：

根据所述目标处理线程以及各个直接关联线程的待处理任务数目计算所述目标处理线程的任务数目差值；

根据各个直接关联线程以及各个间接关联线程的待处理任务数目计算各个直接关联线程的任务数目差值；

根据下式选取所述优选处理线程：

SelSeq＝Argmax(DiffNum₀,DiffNum₁,...,DiffNum_fn,...,DiffNum_FN)

其中，fn为各个直接关联线程的序号，1≤fn≤FN，FN为直接关联线程的总数，DiffNum_fn为第fn个直接关联线程的任务数目差值，DiffNum₀为所述目标处理线程的任务数目差值，Argmax为最大自变量函数，SelSeq为所述优选处理线程的序号。