[发明专利]基于hadoop的结构文件自定义检索方法及系统

摘要

本申请提供了一种基于hadoop的结构文件自定义检索方法，在存储资源条件不变的情况下，通过hadoop集群服务器提供的MapReduce功能对文件存储服务器中存储的大量日志类文件进行快速查询，因为MapReduce能够并行处理大量的日志类数据，所以查询效率大大提高，进而解决了日志类数据查询效率低的问题。

主权项

一种基于hadoop的结构文件自定义检索方法，其特征在于，所述方法应用于hadoop集群服务器，所述方法包括：接收应用服务器根据用户发起的查询请求发起的MapReduce请求，所述请求包含需查询的文件名、范围、条件，应用服务器检验文件名、范围、条件的有效性；开启多个Map从文件服务器将多个日志类的文件读入hadoop集群服务器，日志类文件位置由应用服务器根据请求中的文件名、范围、条件进行计算，Map数量由应用服务器根据请求中日志文件大小、请求范围、条件、集群数量进行综合计算后得出；将读入hadoop集群服务器中的日志类文件与用户发起的查询请求进行比较，若满足条件则输出到Reduce，所述Reduce用于将满足所述条件的信息保存到结果分布式文件系统文件中，其中，所述结果分布式文件系统文件用于返回给用户，文件名根据查询请求进行命名。