[发明专利]小文件合并的方法和数据查询系统

摘要

本发明公开了一种小文件合并的方法和数据查询系统。其中，该方法包括：数据查询系统接收客户端的合并请求；数据查询系统根据合并请求生成合并任务；以及数据查询系统将合并任务分发到在数据库的数据存放节点中运行的数据合并进程中，其中，数据合并进程对数据存放节点中存放的小文件进行合并，得到合并后的文件，其中，数据合并进程为数据查询系统中的进程。本发明解决了存储合并小文件过程的中间临时结果所造成的消耗大量的I/O开销的技术问题。

主权项

1.一种小文件合并的方法，其特征在于，包括：数据查询系统接收客户端的合并请求；所述数据查询系统根据所述合并请求生成合并任务；以及所述数据查询系统将所述合并任务分发到在数据库的数据存放节点中运行的数据合并进程中，其中，所述数据合并进程对所述数据存放节点中存放的小文件进行合并，得到合并后的文件，其中，所述数据合并进程为所述数据查询系统中的进程，所述数据合并进程对所述数据存放节点中存放的小文件进行合并包括：所述数据合并进程创建与待合并小文件具有映射关系的输入映射表和用于建立与合并后的文件的映射关系的输出映射表，其中，所述输入映射表映射的输入目录存储有所述待合并小文件，所述输出映射表映射的输出目录中用于存储所述合并后的文件；按照所述合并任务从所述输入映射表中选择两个以上待合并小文件；将选择的待合并小文件插入到所述输出映射表中合并为大文件，其中，所述大文件为包含两个以上待合并小文件的文件内容的文件。