[发明专利]日志文件合并方法、系统、设备及介质

权利要求书

1.一种日志文件合并方法，其特征在于，包括：

扫描待处理目录下的所有文件，若扫描到新的文件，对该文件进行预处理；

将预处理后的文件数据按类型和时间段写入到不同目录下的新建文件；

在目录下新建合并线程，将新建文件合并，并将合并后的文件上传到hdfs上。

2.根据权利要求1所述的日志文件合并方法，其特征在于，所述扫描待处理目录下的所有文件，包括：利用Files.walkFileTree对整个ftp根目录下所有文件进行扫描。

3.根据权利要求2所述的日志文件合并方法，其特征在于，所述若扫描到新的文件，对该文件进行预处理，包括：若当某一目录下出现新的文件且在hashset中查询不到当前目录，则创建线程合并当前目录下的文件。

4.根据权利要求3所述的日志文件合并方法，其特征在于，所述创建线程，包括：线程创建时，在hashset中写入当前目录。

5.根据权利要求4所述的日志文件合并方法，其特征在于，所述线程创建前，检测hashset中是否存放此目录，若不存在此目录，则创建线程。

6.根据权利要求5所述的日志文件合并方法，其特征在于，所述将新建文件合并，包括：将合并后的文件写入到merging目录下，当文件大小达到255M时，将文件移动到merged目录。

7.根据权利要求6所述的日志文件合并方法，其特征在于，所述将合并后的文件上传到hdfs上，包括：当前目录下文件合并完成后，当文件大小达到255M时，将合并后的文件上传到hdfs上，在hashset中删除当前目录，然后退出当前线程。

8.一种日志文件合并系统，其特征在于，包括：

扫描预处理模块，配置用于扫描待处理目录下的所有文件，若扫描到新的文件，对该文件进行预处理；

目录写入模块，配置用于将预处理后的文件数据按类型和时间段写入到不同目录下的新建文件；

合并上传模块，配置用于在目录下新建合并线程，将新建文件合并，并将合并后的文件上传到hdfs上。

9.一种日志文件合并设备，其特征在于，包括：

存储器，用于存储一个或多个程序；

处理器，用于运行所述存储器中存储的所述程序，以实现如权利要求1-7任一项所述的日志文件合并方法。

10.一种计算机可读存储介质，其存储有至少一个程序，其特征在于，当所述程序被处理器执行时，实现如权利要求1-7任一项所述的日志文件合并方法。