[发明专利]数据排序方法、装置、服务器和存储介质

说明书

本发明实施例公开了一种数据排序方法、装置、服务器和存储介质。所述数据排序方法包括：根据数据排序指令中的数据属性，查找待排序数据，待排序数据包括数据属性和数值；根据与待排序数据的数值对应的标准化数值的排序结果，将待排序数据划分至两个或两个以上待排序数据分区，并确定与各待排序数据分区分别对应的分区维度标识和全数据位置信息；根据分区维度标识将待排序数据分区调用为一个待排序窗口分区，并通过待排序窗口分区和全数据位置信息确定待排序数据的排序结果。本发明实施例的技术方案实现了多窗口分区共同响应操作于Hive数据仓库的排序类窗口函数，提高了对Hive数据仓库中存储数据的排序速度。

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种数据排序方法、装置、服务器和存储介质。

背景技术

Hive是基于Hadoop分布式文件系统的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

发明人在实现本发明的过程中，发现现有技术存在如下缺陷：在Hive上直接使用窗口函数进行数据排序时，不会配置多个窗口分区共同对数据进行排序，只会启动单个窗口分区做全数据排序。

发明内容

有鉴于此，本发明实施例提供了一种数据排序方法、装置、服务器和存储介质，以优化现有技术中使用窗口函数对Hive数据仓库中存储的数据进行排序的方法，提高了对Hive数据仓库存储数据进行排序的速度。

在第一方面，本发明实施例提供了一种数据排序方法，包括：

根据数据排序指令中的数据属性，查找待排序数据，其中，所述待排序数据包括所述数据属性和数值；

根据与所述待排序数据的数值对应的标准化数值的排序结果，将所述待排序数据划分至两个或两个以上待排序数据分区，并确定与各所述待排序数据分区分别对应的分区维度标识和全数据位置信息，其中，所述全数据位置信息用于指示所述待排序数据分区中的待排序数据在全部所述待排序数据中的位置；

根据所述分区维度标识将所述待排序数据分区调用为一个待排序窗口分区，并通过所述待排序窗口分区和所述全数据位置信息确定所述待排序数据的排序结果。

在第二方面，本发明实施例提供了一种数据排序装置，包括：

数据查找模块，用于根据数据排序指令中的数据属性，查找待排序数据，其中，所述待排序数据包括所述数据属性和数值；

数据分区模块，用于根据与所述待排序数据的数值对应的标准化数值的排序结果，将所述待排序数据划分至两个或两个以上待排序数据分区，并确定与各所述待排序数据分区分别对应的分区维度标识和全数据位置信息，其中，所述全数据位置信息用于指示所述待排序数据分区中的待排序数据在全部所述待排序数据中的位置；

数据排序模块，用于根据所述分区维度标识将所述待排序数据分区调用为一个待排序窗口分区，并通过所述待排序窗口分区和所述全数据位置信息确定所述待排序数据的排序结果。

在第三方面，本发明实施例提供了一种服务器，所述服务器包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例所述的数据排序方法。

在第四方面，本发明实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本发明实施例所述的数据排序方法。