[发明专利]数据排序方法和装置

权利要求书

1.一种数据排序方法，其特征在于，所述方法包括：

将存储介质中的待排序数据分批读入内存，每读入一段数据，对所述读入的数据进行排序，得到有序数据段；

对所述有序数据段进行压缩，得到压缩数据段；

将每次压缩后得到的压缩数据段写入所述存储介质；

当所述待排序数据所对应的所有压缩数据段均写入所述存储介质时，将所述存储介质中的压缩数据段分批读入所述内存，并进行归并，得到合并数据段；

对所述合并数据段进行解压，获取排序数据；

将所述排序数据写入所述存储介质。

2.根据权利要求1所述的方法，其特征在于，将存储介质中的待排序数据分批读入内存，每读入一段数据，对所述读入的数据进行排序，得到有序数据段包括：

将所述存储介质中的待排序数据分批读入所述内存；

每读入一段数据，使用预设内存排序算法，对所述读入的数据进行排序，得到所述有序数据段。

3.根据权利要求1所述的方法，其特征在于，对所述有序数据段进行压缩，得到压缩数据段包括：

获取所述有序数据段中的数据以及每个数据在所述有序数据段中的出现次数；

根据所述有序数据段中的数据以及每个数据的出现次数，获取所述压缩数据段。

4.根据权利要求1所述的方法，其特征在于，当所述待排序数据所对应的所有压缩数据段均写入所述存储介质时，将所述存储介质中的压缩数据段分批读入所述内存，并进行归并，得到合并数据段包括：

当所述待排序数据所对应的所有压缩数据段均写入所述存储介质时，将所述存储介质中的压缩数据段分批读入所述内存，每读入预设数目的压缩数据段，对所述预设数目的压缩数据段进行归并，得到中间数据段；

将所述中间数据段写入所述存储介质；

当所述待排序数据对应的所有中间数据段均写入所述存储介质时，将所述所有中间数据段分批读入所述内存，继续进行归并，直至得到所述合并数据段。

5.根据权利要求4所述的方法，其特征在于，每读入预设数目的压缩数据段，对所述预设数目的压缩数据段进行归并，得到中间数据段包括：

获取所述预设数目的压缩数据段中的数据，以及每个数据在对应的压缩数据段中的出现次数；

获取每个数据的总出现次数，所述总出现次数为所述每个数据在对应的压缩数据段中的出现次数之和；

根据所述每个数据和所述每个数据的总出现次数，获取所述中间数据段。

6.一种数据排序装置，其特征在于，所述装置包括：

数据读入模块，用于将存储介质中的待排序数据分批读入内存，每读入一段数据，对所述读入的数据进行排序，得到有序数据段；

压缩模块，用于对所述有序数据段进行压缩，得到压缩数据段；

数据段写入模块，用于将每次压缩后得到的压缩数据段写入所述存储介质；

归并模块，用于当所述待排序数据所对应的所有压缩数据段均写入所述存储介质时，将所述存储介质中的压缩数据段分批读入所述内存，并进行归并，得到合并数据段；

解压模块，用于对所述合并数据段进行解压，获取排序数据；

排序数据写入模块，用于将所述排序数据写入所述存储介质。

7.根据权利要求6所述的装置，其特征在于，所述数据读入模块包括：

数据读入单元，用于将所述存储介质中的待排序数据分批读入所述内存；

排序单元，用于每读入一段数据，使用预设内存排序算法，对所述读入的数据进行排序，得到所述有序数据段。

8.根据权利要求6所述的装置，其特征在于，所述压缩模块包括：

出现次数获取单元，用于获取所述有序数据段中的数据以及每个数据在所述有序数据段中的出现次数；

压缩数据段获取单元，用于根据所述有序数据段中的数据以及每个数据的出现次数，获取所述压缩数据段。