[发明专利]分页查询方法、装置、电子设备和计算机可读存储介质

说明书

本发明提出一种分页查询方法、装置、电子设备和计算机可读存储介质，涉及数据处理技术领域。该方法及装置通过接收分页查询请求，并响应分页查询请求，并根据目标数据库包含的数据总量将目标数据库划分为多个数据分区，然后根据分页查询条件在每个数据分区中查询得到第一目标数据分区，最后将每个第一目标数据分区汇总得到第二目标数据分区，并在第二目标数据分区中查询得到满足分页查询条件的目标数据。由于是根据目标数据库包含的数据总量来自适应地划分数据分区，增加可并行查询的数据分区数量，提高了查询效率；同时由于在查询过程中无需使用窗口函数，且查询时直接获取数据而非数据的id，同样节省了查询时间，提高了查询效率。

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种分页查询方法、装置、电子设备和计算机可读存储介质。

背景技术

现在大数据产业发展的如火如荼，国家也支持大数据产业的发展。而在大数据发展应用中，需要很多的技术来支持大量数据的处理，spark就是其中之一，而且是目前企业中应用最为广泛的一种技术。

Spark SQL是spark的一个模块，主要运用于结构化数据的处理，当查询后返回的数据量较多时，便需要分页操作，常见的分页方案有两种：

ROW_NUMBER法和query_then_fetch方式。这两种方案的主要缺点都是耗时过长，尤其是在数据量很大的时候，且构造的SQL查询语句繁琐。

发明内容

有鉴于此，本发明的目的在于提供一种分页查询方法、装置、电子设备和计算机可读存储介质，以解决上述问题。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供一种分页查询方法，所述分页查询方法包括：

接收分页查询请求，其中，所述分页查询请求包含目标数据库及分页查询条件；

响应所述分页查询请求，并根据所述目标数据库包含的数据总量将所述目标数据库划分为多个数据分区；

根据所述分页查询条件在每个所述数据分区中查询得到第一目标数据分区；

将每个所述第一目标数据分区汇总得到第二目标数据分区，并在所述第二目标数据分区中查询得到满足所述分页查询条件的目标数据。

第二方面，本发明实施例提供一种分页查询装置，所述分页查询装置包括：

请求接收模块，用于接收分页查询请求，其中，所述分页查询请求包含目标数据库及分页查询条件；

数据划分模块，用于响应所述分页查询请求，并根据所述目标数据库包含的数据总量将所述目标数据库划分为多个数据分区；

数据查询模块，用于根据所述分页查询条件在每个所述数据分区中查询得到第一目标数据分区；

所述数据查询模块还用于将每个所述第一目标数据分区汇总得到第二目标数据分区，并在所述第二目标数据分区中查询得到满足所述分页查询条件的目标数据。

第三方面，本发明实施例提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现前述实施方式提供的分页查询方法。

第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施方式提供的分页查询方法。