[发明专利]一种采用后缀数组索引的海量小文件查询方法及系统

摘要

本发明公开了一种采用后缀数组索引的海量小文件查询方法。本发明通过合并小文件后存储到分布式文件系统上提高空间利用率，同时对每一个小文件建立后缀数组索引记录其存储信息以及小文件本身属性信息，并提供有效的小文件更新方法，支持多种方式的小文件查询，避免了传统的单一低效的海量小文件查询，保证了查询的即时性、准确性、高效性。解决了现有技术中简单合并小文件导致小文件查询方式单一、读取效率低下、小文件更新困难、查询即时性差等问题。

主权项

1.一种采用后缀数组索引的海量小文件查询方法，其特征在于，包括：小文件存储步骤：客户端提交文件上传请求；获取每个文件大小，对文件大小进行判断，若判断为非小文件，则对文件分别建立后缀数组索引并上传到分布式文件系统；若判断为小文件，则将小文件放入合并队列进行合并，对小文件分别建立后缀数组索引并将合并后的文件上传到分布式文件系统。小文件查询步骤：获取并解析查询请求；确定查询类型；确定要查询的指定域及查询条件；根据查询条件在后缀数组索引中搜索指定域，得到符合条件的后缀数组索引记录；根据后缀数组索引记录获取小文件在分布式文件系统中的位置信息，从分布式文件系统上获取对应小文件。