[发明专利]数据处理方法、电子设备及存储介质

说明书

本申请实施例提供一种数据处理方法、电子设备及存储介质。在本申请实施例中，采用索引树扫描方式并结合随机采样数据库表的数据页的机制，在获取目标数据库表的随机采样数据的过程中，无需对目标数据库表进行全表扫描，有效地减少了对磁盘进行I/O访问的次数，节约了磁盘I/O资源，增强了数据库系统的查询性能，特别是在分布式数据库系统具有海量数据的情况下。

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据处理方法、电子设备及存储介质。

背景技术

数据库系统普遍使用磁盘存储数据，并使用page(页，也称为数据页)作为磁盘和内存交换的基本单位。通常，数据页通常存储数据库提供的数据库表中的若干条行记录，通常，维护在数据库中的数据库表的数据量比较大，一个数据库表的全部行记录可能存储在磁盘中的多个数据页中，也即一个数据页存储数据库表中的若干条记录。

在一些应用场景中，为满足客户端的数据需求，数据库系统可能需要对数据库表进行随机采样，获取数据库表的随机采样数据。一般做法是：多次对磁盘进行I/O(Input/Output，输入/输出)访问，将数据库表对应的多个数据页从磁盘加载至内存中；在内存中以全表扫描的方式从多个数据页中读取数据库表中的全部行记录；之后，对所读取的全部行记录进行随机采样，得到数据库表中的随机采样数据。

然而，上述对数据库表进行随机采样方式容易出现频繁访问磁盘的情形，消耗磁盘I/O资源较多，降低了数据库系统的查询性能，特别是在分布式数据库系统具有海量数据的情况下。

发明内容

本申请的多个方面提供一种数据处理方法、电子设备及存储介质，用以减少了对磁盘进行I/O访问的次数，节约了磁盘I/O资源，增强了数据库系统的查询性能。

本申请实施例提供一种数据处理方法，包括：遍历目标数据库表对应的索引树，以确定索引树的最后一个非叶子层，索引树的叶子层中各个叶子节点关联磁盘中的数据页，不同数据页存储有目标数据库表中的不同行记录；针对最后一个非叶子层上每个非叶子节点，依次从非叶子节点关联的索引页中读取当前索引项，并为当前索引项随机产生一个随机数；若随机数满足随机数据采样条件，则将当前索引项所指向的叶子节点的目标数据页从磁盘中加载至内存中，以及读取并存储内存的目标数据页中的行记录。

本申请实施例还提供一种数据处理方法，包括：接收客户端提交的针对目标数据库表的SQL语句；获取目标数据库表的随机采样数据；将SQL语句转化为抽象语法树，以及基于随机采样数据根据抽象语法树生成最终的执行计划；将最终的执行计划转化为物理执行计划，并依据物理执行计划查询目标数据库表所在的数据库，获得查询结果，并向客户端输出查询结果。

本申请实施例还提供一种电子设备，包括：存储器和处理器；存储器，用于存储计算机程序；处理器耦合至存储器，用于执行计算机程序以用于执行数据处理方法中的步骤。

本申请实施例还提供一种存储有计算机程序的计算机存储介质，当计算机程序被处理器执行时，致使处理器能够实现数据处理方法中的步骤。

在本申请实施例中，采用索引树扫描方式并结合随机采样数据库表的数据页的机制，在获取目标数据库表的随机采样数据的过程中，无需对目标数据库表进行全表扫描，有效地减少了对磁盘进行I/O访问的次数，节约了磁盘I/O资源，增强了数据库系统的查询性能，特别是在分布式数据库系统具有海量数据的情况下。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的一种数据库系统的结构示意图；

图2为示例性的数据页的数据结构；

图3为示例性的父节点和子节点；

图4为示例性的索引树；