[发明专利]一种用于大数据的排序方法及系统

说明书

技术领域

本发明涉及数据统计和处理技术领域，特别涉及一种用于大数据的排序方法和系统。

背景技术

排序是一种常见的操作，对于一些应用来说可能需要将大量数据，根据某种特点进行TopN排序，并给出对应TopN的一系列数据，因此需要一个良好的方法，保证准确性和高效性。

现有技术的排序方法通常是使用现有的排序算法，例如冒泡排序，快速排序，插入排序等。现有的这些排序算法，对于数据量较小时效果比较好。但是，当数据量比较大时，排序的效率则相对较低。例如，当有100万个数据时，仅需获得topN(比如，N＝10)的排序，使用现有方法必须对100万个数据全进行排序，整个工作显然是耗时且复杂的。

发明内容

本发明的目的是提供一种用于大数据的排序方法，该方法降低了排序的耗时和复杂度，提高了排序效率。

为实现上述目的，本发明实施方式提供一种用于大数据的排序方法，包括如下步骤：

对每个数据建立索引，其中每个索引对应数据的至少一个特征；

建立数组，并从所有数据选取预设目标排序数量的数据的索引放入所述数组；

将剩余数据的预设排序的特征与所述数组中的数据的预设排序的特征进行比较，依据预设排序条件和比较结果确定是否替换所述数组中已存的索引；

当所有数据比较完毕后，根据当前所述数组中的索引查找所述索引对应的数据；

对查找到的数据根据所述预设排序规则进行排序。

根据本发明的一个方面，所述数组的大小等于或大于所述预设目标排序数量。

根据本发明的另一个方面，所述预设排序条件为所述数组中索引对应的每个数据均大于或小于所述数组外的每个剩余数据；所述预设排序规则为升序排序或降序排序。

根据本发明的又一方面，所述特征至少包括用户名、使用流量、登录时长和登录设备。

根据本发明的再一方面，在对查找到的数据根据所述预设排序规则进行排序之后，还包括如下步骤：根据排序后数据的索引，获取符合所述预设排序规则的每个数据的至少一个特征。

根据本法实施方式的用于大数据的排序方法，在执行TopN排序时，不需要对所有数据进行排序，仅仅是对N+1个数据进行简单的比较大小的操作，而不是相对复杂的排序操作。当数据量较大时，本发明可以降低排序的耗时和复杂度，提高了排序效率，达到高效的找到TopN的目的。

本发明的另一个目的是提供一种用于大数据的排序系统，该系统降低了排序的耗时和复杂度，提高了排序效率。

为实现上述目的，本发明实施方式提供一种用于大数据的排序系统，包括：索引建立模块，用于对每个数据建立索引，其中每个索引对应数据的至少一个特征；数组建立模块，所述数据建立模块连接至所述索引建立模块，用于建立数组，并从所有数据选取预设目标排序数量的数据的索引放入所述数组；特征比较模块，所述特征比较模块连接至所述数组建立模块，用于将剩余数据的预设排序的特征与所述数组中的数据的预设排序的特征进行比较；索引确定模块，所述索引确定模块连接至所述特征比较模块，用于依据预设排序条件和比较结果确定是否替换所述数组中已存的索引；数据查找模块，所述数据查找模块连接至所述索引确定模块，用于当所有数据比较完毕后，根据当前所述数组中的索引查找所述索引对应的数据；数据排序模块，所述数据排序模块连接至所述数据查找模块，用于对查找到的数据根据所述预设排序规则进行排序。

根据本发明的一个方面，所述数组的大小等于或大于所述预设目标排序数量。

根据本发明的另一个方面，所述预设排序条件为所述数组中索引对应的每个数据均大于或小于所述数组外的每个剩余数据；所述预设排序规则为升序排序或降序排序。

根据本发明的又一方面，所述特征至少包括用户名、使用流量、登录时长和登录设备。

根据本发明的再一方面，所述数据排序模块还用于根据排序后数据的索引，获取符合所述预设排序规则的每个数据的至少一个特征。

根据本发明实施方式的用于大数据的排序系统，在执行TopN排序时，不需要对所有数据进行排序，仅仅是对N+1个数据进行简单的比较大小的操作，而不是相对复杂的排序操作。当数据量较大时，本发明可以降低排序的耗时和复杂度，提高了排序效率，达到高效的找到TopN的目的。

附图说明

图1是根据本发明第一实施方式的用于大数据的排序方法的流程图；

图2示意性地示出索引-特征结构；

图3是根据本发明第二实施方式的用于大数据的排序方法的流程图；