[发明专利]一种大数据分布式文件导出方法

摘要

本发明公开一种大数据分布式文件导出方法，包括以下步骤查询服务器根据预定的条件，将源查询语句分拆解析成若干个子查询语句，分发给多个数据检索服务器；接收到子查询语句的数据检索服务器，进行并行查询；数据检索服务器将子检索结果并行写入子文件；文件合并服务器根据预定条件，抓取子文件并将子文件进行合并，然后导出。本发明采用分布式方式导出大量数据，可以保证数据的完整及正确性，并且可以支持横向扩展，从而快速安全地导出大批量数据到文件中。

主权项

一种大数据分布式文件导出方法，用于由查询服务器、多个数据检索服务器、文件合并服务器相互连接形成的查询系统，其特征在于包括以下步骤：S1：所述查询服务器根据预定条件，将源查询语句分拆解析成若干个子查询语句，分发给所述多个数据检索服务器，同时向队列服务器发送注册消息；其中，所述注册消息中包含数据检索服务器标识，所述数据检索服务器标识表示收到并执行子查询语句的数据检索服务器；利用所述数据检索服务器标识来保证横向扩展多台服务时数据不会错乱；S2：接收到所述子查询语句的所述数据检索服务器，进行并行查询；S3：所述数据检索服务器将子检索结果并行写入子文件；S4：所述文件合并服务器根据所述预定条件，抓取所述子文件并将所述子文件进行合并，然后导出；其中，利用注册队列机制保证数据完整性，利用错误处理机制保证数据正确性。