[发明专利]数据排序方法和数据排序系统

说明书

本发明实施例提供一种数据排序方法和数据排序系统，该数据排序方法包括：获取待排序的多个目标数据，将其分为多个分组；采用图形处理器的多个核分别对多个分组中的目标数据进行排序处理，且一个核仅对应处理一个分组的数据；将每个分组中排序位于前N位的目标数据分别对应存储至显存中的多个数据池中，每个数据池仅存储同一个分组中的目标数据；以及对所有数据池中存储的目标数据进行排序处理，并将排序位于前N位的目标数据存储至内存中。该方法通过采用图形处理器的多个核分别进行多组大量的目标数据的排序，然后再对各个分组中筛选出的目标数据再次排序，提取需要的目标数据，从而快速高效地完成大数据的排序和筛选，减轻服务器的压力。

技术领域

本发明涉及计算机技术领域，具体涉及一种数据排序方法和数据排序系统。

背景技术

随着“大数据”技术的发展，利用计算机进行大数据的排序的算法越来越多。例如集合A和B各有元素数据上万个，按照元素数据的某一属性可分别对两集合中的数据进行排序，若想要提取集合A和B中的数据相互组合后形成的数据组中该属性排序前n位的数据组，由于数据组较多，计算量大，所以需要采用大数据排序算法。应用在实际场景下，例如是筛选A组商品和B组商品组合后的利润最高的n种组合，则分别对A组商品和B组商品的利润排序，从中挑选出利润较高的前几位进行组合，然后再排序取TOP n，但由于组合后的利润情况还跟商品的价格、品类、用户的接纳程度等有关系，故该排序方法得到的结果并不准确。

当集合A和B各有3万元素数据时，A和B中的数据两两组合后，利用常用的几种大数据排序方法取属性数据排序TOP 100的数据组。全排序是指分别取集合A、B中的一个元素数据两两组合，组成9亿数据组后，依次计算属性数据的大小并排序，选取前100位，该方法由于数据庞大造成内存服务器消耗过大，且运行时间过长，服务器无法承受；局部淘汰排序是指先用一个数据池保存由A和B各挑选几个数据组合后形成的100个数据组，根据属性数据排序，然后将剩余的A和B中所有的数据进行两两组合后，按顺序取一个数据组与数据池的属性数据最小的数据组相比，如果后续的数据组中存在属性数据比数据池内最小属性数据大的数据组，则用该数据组代替数据池内的属性数据最小的数据组，直至遍历完所有数据组，该方法由于数据太多，且需要不断排序，使得CPU长期处于高负载状态，容易损坏，且耗时较长。

因此，发明人认为，上述的大数据排序方法都有很大的局限性，存在对内存和CPU消耗较大，服务器运行耗时长，占用资源等问题。

发明内容

有鉴于此，本发明实施例提供一种数据排序方法和数据排序系统，充分利于GPU(Graphics Processing Unit，图形处理器)的特点和算法，采用GPU的多个核进行多组大数据的排序，然后将各个分组中筛选出的数据再统一进行排序，筛选出需要的数据，从而解决单机对处理超大量数据时的内存大量占用和CPU持续消耗，以及服务器运行时长过高的问题，最终达到使用单机或极少量服务器快速完成大量数据的排序和筛选。

根据本发明第一方面，提供一种数据排序方法，包括：

获取待排序的多个目标数据，将其分为多个分组；

采用图形处理器的多个核分别对多个分组中的目标数据进行排序处理，且一个核仅对应处理一个分组的数据；

将每个分组中排序位于前N位的所述目标数据分别对应存储至显存中的多个数据池中，每个数据池仅存储同一个分组中的目标数据；以及

对所有所述数据池中存储的所述目标数据进行排序处理，并将排序位于前N位的目标数据存储至内存中，N为设定的大于1的整数。

优选地，所述数据排序方法还包括：将所有所述数据池中的所有所述目标数据存储至单独的公共数据池中。

优选地，所述公共数据池为在内存中申请的一个数组。

优选地，所述公共数据池为在显存中申请的一个数组。