[发明专利]一种文件分割方法及装置

说明书

本申请公开了一种文件分割方法及装置。获取服务器系统资源，根据所述系统资源计算当前分割阈值；根据所述当前分割阈值分割待处理的文件，对所述分割结果进行文件处理；获取并保存所述文件处理的结果实现了计算文件的动态分割。

技术领域

本申请属于数据计算领域，具体地说，涉及一种文件分割方法及装置。

背景技术

在大数据处理过程中，处理大文件计算时，直接对大文件进行计算通常会导致操作系统内存溢出。因此，为了防止大文件加载到内存进行计算的时候导致内存溢出，会对文件进行分割，现有技术中常用的做法是按照某个固定的值对待计算的大文件进行分割，例如按照固定文件大小或者固定文件行数进行分割，在实时计算中最后计算结束后才能输出计算结果。

然而，现有技术的这种文件分割方法并没有考虑应用服务器的空闲内存和CPU的忙碌情况，在实时计算过程中，有可能因为文件切割过大而导致内存溢出，又由于是在加载文件是按顺序进行计算，会导致任意一个文件计算失败而无法得到阶段性的计算结果。

因此，一种新的文件分割方法亟待提出。

发明内容

有鉴于此，本申请所要解决的技术问题是提供了一种文件分割方法及装置。

为了解决上述技术问题，本申请开了一种文件分割方法及装置。

本申请一种文件分割方法，包括如下的步骤：

获取服务器系统资源，根据所述系统资源计算当前分割阈值；

根据所述当前分割阈值分割待处理的文件，对所述分割结果进行文件处理；

获取并保存所述文件处理的结果。

其中，所述系统资源具体包括：服务器CPU的空闲率以及内存的空闲值。

其中，根据所述系统资源计算当前分割阈值，具体包括：对当前时刻所述CPU的空闲率以及所述内存的空闲值进行加权求和，并将所述加权求和的结果作为所述当前分割阈值。

其中，根据所述当前分割阈值将待处理的文件进行分割，具体包括：采用命令行工具，根据所述当前分割阈值对所述待处理的文件进行分割。

本申请一种文件分割方法，包括如下的步骤：

根据预置的分割阈值分割待处理的文件得到分割部分以及剩余部分；对所述分割部分进行所述文件处理，，根据在所述文件处理时刻服务器的系统资源获取分割修正值，以所述分割修正值更新所述预置的分割阈值用以对所述剩余部分进行下一次分割；

获取并保存所述分割部分进行所述文件处理的结果。

所述系统资源具体包括：服务器CPU的空闲率以及内存的空闲值。

其中，获取分割修正值，具体包括：对所述CPU的空闲率以及所述内存的空闲值进行加权求和，并将所述加权求和的结果作为所述分割修正值。

其中，根据预置的分割阈值分割待处理的文件得到分割部分以及剩余部分，具体包括：采用命令行工具，根据所述文件分割阈值对所述待处理的文件进行分割。

其中，根据所述系统资源获取分割修正值，还包括：当判定所述服务器CPU的空闲率大于预设的第一阈值以及，当判定所述内存的空闲值大于预设的第二阈值，则以所述预置的分割阈值作为所述分割修正值。

本申请一种文件分割装置，包括如下的模块：

预处理模块，用于获取服务器系统资源，根据所述系统资源计算当前分割阈值；

第一分割模块，用于根据所述当前分割阈值分割待处理的文件；

第一处理模块，用于对所述分割结果进行文件处理；