[发明专利]一种基于Spark的小文件合并方法及系统

权利要求书

1.一种基于Spark的小文件合并方法，基于源数据库、带有Spark引擎的商业智能分析平台和装载有hadoop文件系统的Hive数据库，其特征在于：还包括以下步骤：

S1、用户通过商业智能分析平台操作源数据库并配置数据抽取功能；

S2、商业智能分析平台根据用户配置的N个抽取分区读取源数据库中的数据，将抽取的数据写入到Hive数据库中M个分区中，每个分区文件数为N个，M、N均为正整数；

S3、hadoop文件系统根据用户预录入的时间周期和任务规则对M个分区中的文件进行合并。

2.根据权利要求1所述的一种基于Spark的小文件合并方法，其特征在于：所述商业智能分析平台包括与源数据库匹配的数据集，在步骤S1中，用户通过商业智能分析平台中的数据集的数据集处理节点操作源数据库并配置数据抽取功能。

3.根据权利要求1所述的一种基于Spark的小文件合并方法，其特征在于：所述步骤S2中商业智能分析平台根据用户配置的N个抽取分区读取源数据库中的数据的方法为：Spark引擎同时执行N个任务读取源数据库数据，并将数据写入到M个分区中。

4.根据权利要求1所述的一种基于Spark的小文件合并方法，其特征在于：所述步骤S3中hadoop文件系统根据用户预录入的时间周期和任务规则对M个分区中的文件进行合并的方法包括以下步骤：

S301、用户对hadoop文件系统进行配置，设置hadoop文件系统进行文件合并的周期，配置文件合并的任务规则；

S302、hadoop文件系统启动后开始计时，计时达到步骤S301中周期预设的时间后，hadoop文件系统根据步骤S301配置的任务规则对M个分区中的文件进行合并；

S303、hadoop文件系统完成文件合并后重置计时器然后转入步骤S302。

5.根据权利要求4所述的一种基于Spark的小文件合并方法，其特征在于：所述步骤S302中的任务规则包括：按文件名称进行排序后合并、按文件创建时间进行排序后合并、按文件修改时间进行排序后合并及按文件大小进行排序后合并。

6.根据权利要求4所述的一种基于Spark的小文件合并方法，其特征在于：所述步骤S303合并后的文件包括：文件头和文件内容，所述文件头包括合并前所有文件的名称，所述文件内容包括合并前所有文件的数据。

7.一种基于Spark的小文件合并系统，其特征在于：包括源数据库、带有Spark引擎的商业智能分析平台和基于hadoop文件系统的Hive数据库；

所述Hive数据库包括：

存储器，用于存储可执行指令及文件；

处理器，用于执行所述存储器中存储的可执行指令，实现如权利要求1所述的一种基于Spark的小文件合并方法。