[发明专利]应用于海量文件的文件压缩方法、装置、设备及存储介质

说明书

本发明涉及金融科技的数据处理技术领域，公开了一种应用于海量文件的文件压缩方法、装置、设备及存储介质，该方法包括：获取待压缩文件，创建统计线程，通过统计线程统计文件总大小；建立拆分线程，由拆分线程为各个拆分文件组分配待压缩文件，得到各个拆分文件组的待拆分文件；对待拆分文件进行拆分，获得各个压缩文件组的压缩分组文件，并生成压缩分组文件列表；基于压缩分组文件列表进行压缩，获得多组压缩文件。在统计、分组、拆分以及压缩阶段都创建对应数量的线程，相比于传统的单一线程进行文件压缩方式压缩后的容量依旧较大，本发明通过多阶段的压缩提高了文件压缩效果，减轻了海量文件的管理负担。

技术领域

本发明涉及金融科技(Fintech)的数据处理技术领域，尤其涉及一种应用于海量文件的文件压缩方法、装置、设备及存储介质。

背景技术

随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，但由于金融行业的安全性、实时性要求，也对技术提出了更高的要求。

为了节约网络带宽，提高数据传输的速度和质量，文件压缩技术必不可少。现有的文件压缩，一般是利用hdfs(Hadoop Distributed File System，海杜普分布式文件系统)基于hadoop(海杜普)架构压缩成小单元的压缩文件，但是这种压缩方式，主要基于单线程进行，若仅通过单线程对海量待压缩文件进行压缩，不仅会耗费太多的时间，而且对于海量压缩文件的压缩效果依旧很差，依然不便于海量文件的压缩管理。

发明内容

本发明提供一种应用于海量文件的文件压缩方法、装置、设备及存储介质，旨在提高文件压缩效果，减轻海量文件的管理负担。

为实现上述目的，本发明提供一种应用于海量文件的文件压缩方法，所述方法包括：

获取待压缩文件，根据所述待压缩文件的文件总数量创建多个统计线程，基于所述多个统计线程统计所述待压缩文件的文件总大小；

根据所述文件总大小和预设分组文件大小确定文件分组数量，建立与所述文件分组数量对应个数的拆分线程，由所述拆分线程分配所述待压缩文件，得到各个拆分文件组的待拆分文件；

对各个拆分文件组的所述待拆分文件进行拆分，获得各个压缩文件组的压缩分组文件，并基于各个压缩文件组的所述压缩分组文件的初始信息生成压缩分组文件列表；

基于所述压缩分组文件列表对各个压缩文件组的所述压缩分组文件进行压缩，获得多组压缩文件。

优选的，所述分组线程包括初始统计线程和追加统计线程，所述获取待压缩文件，根据所述待压缩文件的文件总数量创建多个统计线程，基于所述多个统计线程统计所述待压缩文件的文件总大小的步骤包括：

根据预先设置的指定文件目录递归获取所述待压缩文件，得到所述文件总数量；

基于所述文件总数量和预设统计线程数量计算各个统计线程的待统计文件数量，并得到统计剩余文件数量；

创建与所述预设统计线程数量个数一致的初始统计线程，若所述剩余文件数量不为零，则创建一个追加统计线程；

遍历所述待压缩文件，基于所述待统计文件数量为各个初始分组线程分配对应数量的待压缩文件；

将遍历后的统计剩余文件分配至所述追加统计线程；

通过所述初始统计线程获取对应待统计文件的待统计文件大小，通过所述追加统计线程获取所述统计剩余文件的统计剩余文件大小；

累加各个待统计文件大小以及所述统计剩余文件大小，获得所述待压缩文件的文件总大小。

优选的，所述基于所述文件总数量和预设统计线程数量计算各个统计线程的待统计文件数量，并得到统计剩余文件数量的步骤包括：