[发明专利]Hadoop文件处理方法、装置、存储介质及服务器

说明书

本发明属于计算机技术领域，尤其涉及一种Hadoop文件处理方法、装置、计算机可读存储介质及服务器。所述方法包括：接收终端设备下发的Hadoop文件处理指令，并从所述Hadoop文件处理指令中提取文件筛选维度、文件筛选范围以及文件处理方式；按照所述文件筛选维度对预设的第一文件信息表中的文件条目进行升序排序，得到第二文件信息表，所述第一文件信息表用于存储Hadoop分布式文件系统中的文件信息；在所述第二文件信息表中查找第一文件条目和第二文件条目；按照所述文件处理方式对指定文件集合进行处理，所述指定文件集合为由所述第一文件条目和所述第二文件条目之间的各个文件条目所对应的各个文件组成的集合。在需要进行批量文件处理时，极大提升了处理效率。

技术领域

本发明属于计算机技术领域，尤其涉及一种Hadoop文件处理方法、装置、计算机可读存储介质及服务器。

背景技术

Hadoop框架是目前主流的跨集群分布式大数据处理框架，其子模块Hadoop分布式文件系统(Hadoop Distributed File System，HDFS)是一个分布式的文件系统，该系统可以提供了高吞吐数据访问能力。包括亚马逊、Adobe和阿里巴巴在内的众多国内外大型企业都在使用Hadoop框架进行数据管理和分析工作。HDFS被设计成适合运行在通用硬件上的分布式文件系统，它和现有的分布式文件系统有很多共同点，但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS有着高容错性的特点，并且设计用来部署在低廉的硬件上。而且它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。HDFS放宽了POSIX的要求，这样可以实现流的形式访问文件系统中的数据。HDFS fs是HDFS最常用的命令，这是一个高度类似linux文件系统的命令集。用户可以使用这些命令执行查看HDFS上的目录结构文件、上传和下载文件、创建文件夹、复制文件、删除文件夹、删除文件等操作处理。但目前使用HDFS fs命令进行文件处理时，其命令参数一般只能是文件名或文件夹，而无法根据文件日期、大小等其他维度的信息进行文件处理，在需要进行批量文件处理时，处理效率极为低下。

发明内容

有鉴于此，本发明实施例提供了一种Hadoop文件处理方法、装置、计算机可读存储介质及服务器，以解决现有的Hadoop文件处理方法在需要进行批量文件处理时，处理效率极为低下的问题。

本发明实施例的第一方面提供了一种Hadoop文件处理方法，可以包括：

接收终端设备下发的Hadoop文件处理指令，并从所述Hadoop文件处理指令中提取文件筛选维度、文件筛选范围以及文件处理方式；

按照所述文件筛选维度对预设的第一文件信息表中的文件条目进行升序排序，得到第二文件信息表，所述第一文件信息表用于存储Hadoop分布式文件系统中的文件信息；

在所述第二文件信息表中查找第一文件条目和第二文件条目，所述第一文件条目为顺序查找到的第一个满足所述文件筛选范围的下限的文件条目，所述第二文件条目为逆序查找到的第一个满足所述文件筛选范围的上限的文件条目；

按照所述文件处理方式对指定文件集合进行处理，所述指定文件集合为由所述第一文件条目和所述第二文件条目之间的各个文件条目所对应的各个文件组成的集合。

本发明实施例的第二方面提供了一种Hadoop文件处理装置，可以包括：

指令接收模块，用于接收终端设备下发的Hadoop文件处理指令，并从所述Hadoop文件处理指令中提取文件筛选维度、文件筛选范围以及文件处理方式；

文件条目排序模块，用于按照所述文件筛选维度对预设的第一文件信息表中的文件条目进行升序排序，得到第二文件信息表，所述第一文件信息表用于存储Hadoop分布式文件系统中的文件信息；