[发明专利]一种数据查询方法、装置、设备及存储介质

权利要求书

1.一种数据查询方法，其特征在于，所述方法应用于数据处理系统，所述数据处理系统包括协调节点以及工作节点，所述方法包括：

所述协调节点发送针对第一文件及第二文件进行查询操作的任务至所述工作节点，所述任务包括针对所述第一文件及所述第二文件的查询条件，其中，所述第一文件的数据量大于所述第二文件的数据量；

所述工作节点根据接收到的所述任务的所述查询条件以及所述第一文件、所述第二文件分别对应的数据信息，预估所述第一文件中符合所述查询条件的数据在所述第一文件中的占比；

当所述占比大于预设阈值时，所述工作节点读取所述第一文件及所述第二文件至所述工作节点，并对所述第一文件及所述第二文件执行所述查询操作。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述占比小于等于所述预设阈值时，所述工作节点读取所述第二文件；

所述工作节点查询所述第二文件中满足所述查询条件的第一数据；

所述工作节点根据所述第一数据生成过滤条件；

所述工作节点将所述过滤条件发送至所述第一文件所在数据源，所述过滤条件用于指示所述数据源从所述第一文件中查询与所述第一数据匹配的第二数据；

所述工作节点接收所述数据源发送的第二数据，对所述第一数据及第二数据执行所述查询操作。

3.根据权利要求1或2所述的方法，其特征在于，所述第一文件、所述第二文件分别对应的数据信息包括所述第一文件中的采样数据以及所述第二文件中的采样数据；

所述工作节点根据接收到的所述任务的所述查询条件以及所述第一文件、所述第二文件分别对应的数据信息，预估所述第一文件中符合所述查询条件的数据在所述第一文件中的占比，包括：

所述工作节点分别对所述第一文件中的数据以及所述第二文件中的数据进行采样，得到所述第一文件中的采样数据以及所述第二文件中的采样数据；

所述工作节点确定所述第二文件的采样数据中符合所述查询条件的目标采样数据的标识；

所述工作节点计算所述第一文件的采样数据中具有所述标识的采样数据在所述第一文件的采样数据中的占比。

4.根据权利要求1或2所述的方法，其特征在于，所述第一文件、所述第二文件分别对应的数据信息包括所述第一文件、所述第二文件分别对应的数据统计信息；

所述工作节点根据接收到的所述任务的所述查询条件以及所述第一文件、所述第二文件分别对应的数据信息，预估所述第一文件中符合所述查询条件的数据在所述第一文件中的占比，包括：

所述工作节点根据所述第二文件对应的数据统计信息，确定所述第二文件中符合所述查询条件的数据的标识；

所述工作节点根据所述第一文件对应的数据统计信息，计算所述第一文件中具有所述标识的数据在所述第一文件中的占比。

5.根据权利要求4所述的方法，其特征在于，所述第一文件对应的数据统计信息，包括所述第一文件的数据范围、数据分布区间、重复数据中的任意一种或多种。

6.一种数据查询装置，其特征在于，所述装置应用于数据处理系统，所述数据处理系统包括协调节点以及工作节点，所述装置包括：

第一通信模块，用于发送针对第一文件及第二文件进行查询操作的任务至所述工作节点，所述任务包括针对所述第一文件及所述第二文件的查询条件，其中，所述第一文件的数据量大于所述第二文件的数据量；

预估模块，用于根据接收到的所述任务的所述查询条件以及所述第一文件、所述第二文件分别对应的数据信息，预估所述第一文件中符合所述查询条件的数据在所述第一文件中的占比；

读取模块，用于当所述占比大于预设阈值时，读取所述第一文件及所述第二文件至所述工作节点，并对所述第一文件及所述第二文件执行所述查询操作。