[发明专利]一种分布式数据库中海量小文件的多级优化存储方法及系统

摘要

本发明公开一种分布式数据库中海量小文件的多级优化存储方法及系统，方法包括：分布式数据库的管理节点响应于包括至少一个小文件的小文件输入事件，将所述小文件放入合并队列，将每个合并队列所包括的小文件分别合并后得到合并文件并保存在分布式数据库的工作节点中，所述小文件的文件长度小于预设小文件长度阈值；分布式数据库的管理节点为每个所述合并文件所包括的每个小文件构建索引并保存在分布式数据库的管理节点中；客户端根据所述索引，从所述合并文件中获取所述小文件。本发明从HDFS的文件存取流程出发，使用合并队列算法将小文件合并为大文件，减少小文件数量，同时，构建索引提高文件检索性能。

主权项

1.一种分布式数据库中海量小文件的多级优化存储方法，其特征在于，包括：文件合并步骤，分布式数据库的管理节点响应于包括至少一个小文件的小文件输入事件，将所述小文件放入合并队列，将每个合并队列所包括的小文件分别合并后得到合并文件并保存在分布式数据库的工作节点中，所述小文件的文件长度小于预设小文件长度阈值；文件索引步骤，分布式数据库的管理节点为每个所述合并文件所包括的每个小文件构建索引并保存在分布式数据库的管理节点中；文件读取步骤，客户端根据所述索引，从所述合并文件中获取所述小文件；所述文件合并步骤，具体包括：小文件输入响应子步骤，分布式数据库的管理节点响应于包括至少一个小文件的小文件输入事件；小文件选择子步骤，选择所述小文件输入事件所包括的其中一个小文件作为当前小文件；长度比较子步骤，获取预设的合并队列组中所有合并队列的剩余长度，如果所述当前小文件的文件长度小于或等于所有合并队列的剩余长度的最大值，则将剩余长度大于或等于所述当前小文件的文件长度的合并队列作为当前合并队列，执行小文件加入子步骤，如果所述当前小文件的文件长度大于所有合并队列的剩余长度的最大值，则执行合并队列选择子步骤；合并缓冲选择子步骤，将剩余长度最小的合并队列作为待判断合并队列，如果所述待判断合并队列满足预设均衡合并条件，则将所述待判断合并队列所包括的小文件合并得到合并文件并保存在分布式数据库的工作节点后，清空所述待判断合并队列，将所述待判断合并队列作为当前合并队列，执行小文件加入子步骤，如果所述待判断合并队列不满足预设均衡合并条件，则从预设的缓冲队列组中选择一个缓冲队列作为当前合并队列，从缓冲队列组中移除并加入合并队列组，执行小文件加入子步骤；小文件加入子步骤，将所述当前小文件加入所述当前合并队列，如果所述小文件输入事件还包括其小文件，则执行小文件选择子步骤，否则将所述合并队列组中每个合并队列所包括的小文件分别合并后得到合并文件并保存在分布式数据库的工作节点中。