[发明专利]应用于海量文件的文件压缩方法、装置、设备及存储介质

权利要求书

1.一种应用于海量文件的文件压缩方法，其特征在于，所述方法包括：

获取待压缩文件，根据所述待压缩文件的文件总数量创建多个统计线程，基于所述多个统计线程统计所述待压缩文件的文件总大小；

根据所述文件总大小和预设分组文件大小确定文件分组数量，建立与所述文件分组数量对应个数的拆分线程，由所述拆分线程分配所述待压缩文件，得到各个拆分文件组的待拆分文件；

对各个拆分文件组的所述待拆分文件进行拆分，获得各个压缩文件组的压缩分组文件，并基于各个压缩文件组的所述压缩分组文件的初始信息生成压缩分组文件列表；

基于所述压缩分组文件列表对各个压缩文件组的所述压缩分组文件进行压缩，获得多组压缩文件。

2.根据权利要求1所述的方法，其特征在于，所述分组线程包括初始统计线程和追加统计线程，所述获取待压缩文件，根据所述待压缩文件的文件总数量创建多个统计线程，基于所述多个统计线程统计所述待压缩文件的文件总大小的步骤包括：

根据预先设置的指定文件目录递归获取所述待压缩文件，得到所述文件总数量；

基于所述文件总数量和预设统计线程数量计算各个统计线程的待统计文件数量，并得到统计剩余文件数量；

创建与所述预设统计线程数量个数一致的初始统计线程，若所述剩余文件数量不为零，则创建一个追加统计线程；

遍历所述待压缩文件，基于所述待统计文件数量为各个初始分组线程分配对应数量的待压缩文件；

将遍历后的统计剩余文件分配至所述追加统计线程；

通过所述初始统计线程获取对应待统计文件的待统计文件大小，通过所述追加统计线程获取所述统计剩余文件的统计剩余文件大小；

累加各个待统计文件大小以及所述统计剩余文件大小，获得所述待压缩文件的文件总大小。

3.根据权利要求2所述的方法，其特征在于，所述基于所述文件总数量和预设统计线程数量计算各个统计线程的待统计文件数量，并得到统计剩余文件数量的步骤包括：

将所述文件总数量除以所述预设统计线程数量的商确定为所述待统计文件数量；

将所述文件总数量除以所述预设统计线程数量的余数确定为所述统计剩余文件数量。

4.根据权利要求1所述的方法，其特征在于，所述根据所述文件总大小和预设分组文件大小确定文件分组数量，建立与所述文件分组数量对应个数的拆分线程，由所述拆分线程为各个拆分文件组分配所述待压缩文件，得到所述各个拆分文件组的待拆分文件的步骤包括：

根据所述文件总大小和预设分组文件大小确定拆分文件组数量和分组剩余文件大小；

创建与所述拆分文件组数量一致的初始拆分线程，若分组剩余文件大小不为零，则创建一个追加拆分线程；

通过所述初始拆分线程遍历所述待压缩文件，依次计算所述待压缩文件的累积大小，当所述累积大小大于或等于所述预设分组文件大小时，则将已遍历的待压缩文件保存为一个拆分文件分组的待拆分文件；

直到循环遍历的次数达到所述拆分文件组数量，得到各个拆分文件组的待拆分文件；

将所述分组剩余文件分配至所述追加拆分线程对应的追加拆分分组。

5.根据权利要求1所述的方法，其特征在于，所述对各个所述拆分文件分组的所述待拆分文件进行拆分，获得各个压缩文件组的压缩分组文件步骤包括：

通过所述拆分线程中的各个初始拆分线程分别从所述待拆分文件中选择目标拆分文件，并对所述目标拆分文件进行切割，获得保留文件和余量文件；

将所述保留文件保留在所述初始拆分线程对应的拆分文件分组中，将保留所述保留文件的拆分文件分组标记为压缩文件分组，并将所述压缩文件分组中的文件标记为初始压缩分组文件；

将所述余量文件存放至追加压缩分组，将所述追加压缩分组中的文件标记为追加压缩分组文件，所述追加压缩分组与所述拆分线程中的追加拆分线程对应。