[发明专利]文件合并方法、装置及电子设备

说明书

本申请公开了一种文件合并方法、装置及电子设备，所述方法包括：从分布式文件系统的数据库中获取数据分区中待合并的多个第一文件。将多个第一文件移动至数据分区中的临时文件夹，并对临时文件夹中的多个第一文件进行合并处理，形成第二文件，临时文件夹的文件属性为非隐藏。将第二文件发送至数据分区中的隐藏文件夹，并在检测到第二文件完全发送至隐藏文件夹后，将隐藏文件夹的文件属性由隐藏变更为非隐藏，以将第二文件回写至数据分区。

技术领域

本申请涉及数据处理技术领域，特别涉及一种文件合并方法、装置及电子设备。

背景技术

应用程序的日志在多个服务器同时运行时，上报到kafka的日志由消费者进程消费处理后，会以分布式存储的方式，对这些日志文件以ORC(Optimized Row Columnar)文件的格式进行压缩存储。由于ORC文件是分批落地，因此为保证实时查询的需要，每个批次的间隔需尽可能的小，且对于海量数据的采集，往往会使用多个消费者进行落地，导致分布式存储上的日志是以大量的ORC小文件形式落地，影响日志查询效率。为此，现有技术通过Hive提供的SQL(Structured Query Language)指令对这些ORC文件进行合并，以提高查询效率。

但由于Hive提供的SQL指令是在Hive分区映射的hdfs(Hadoop分布式文件系统)的文件夹上直接处理的，在合并结束后计算引擎会删除原文件夹的文件。因此在对有新增文件的文件夹上进行文件合并时，若新增文件为实时新增且文件合并过程所需时间过长，则在将合并后的文件覆盖到原文件夹时，会导致合并过程中该文件夹新增的文件被删除，造成数据丢失。

发明内容

本申请的目的在于至少解决现有技术中存在的技术问题之一，提供一种文件合并方法、装置及电子设备，避免文件在合并过程中，实时新增的文件被删除导致数据丢失，从而保证被存储的文件的完整性。

本申请实施例提供一种文件合并方法，包括：

从分布式文件系统的数据库中获取数据分区中待合并的多个第一文件。

将多个第一文件移动至数据分区中的临时文件夹，并对临时文件夹中的多个第一文件进行合并处理，形成第二文件，临时文件夹的文件属性为非隐藏。

将第二文件发送至数据分区中的隐藏文件夹，并在检测到第二文件完全发送至隐藏文件夹后，将隐藏文件夹的文件属性由隐藏变更为非隐藏，以将第二文件回写至数据分区。

进一步的，所述将多个第一文件移动至数据分区中的临时文件夹，包括：

检测多个第一文件的总文件尺寸，并在检测到多个第一文件的总文件尺寸处于预设范围时，生成临时文件夹，并将多个第一文件移动至临时文件夹。

进一步的，所述将多个第一文件移动至数据分区中的临时文件夹，包括：

扫描文件属性数据库，获取多个第一文件中各第一文件的各文件属性，文件属性数据库记录有第一文件的属性数据，属性数据包括第一文件的文件尺寸。

根据各第一文件的各文件属性，检测多个第一文件的总文件尺寸。

进一步的，所述将多个第一文件移动至数据分区中的临时文件夹，包括：

根据临时文件夹的存储地址，修改多个第一文件在分布式文件系统的元数据上的索引节点，以将多个第一文件移动至数据分区中的临时文件夹。

进一步的，在以将第二文件回写至数据分区后，还包括：

将第二文件的文件属性发送至文件属性数据库。

进一步的，在检测到第二文件完全发送至隐藏文件夹后，还包括：

删除临时文件夹。

进一步的，在本申请实施例中，提供了一种文件合并装置，包括：