[发明专利]一种数据查询方法、装置、设备及存储介质

说明书

本申请公开了一种数据查询方法、装置、设备及存储介质，可以应用于包括协调节点以及工作节点的数据处理系统。协调节点向工作节点发送针对第一文件以及第二文件进行查询操作的任务，该任务包括针对第一文件以及第二文件的查询条件，并且第一文件的数据量大于第二文件的数据量。工作节点根据任务中的查询条件以及第一文件和第二文件分别对应的数据信息，预估第一文件中符合该查询条件的数据在第一文件中的占比，并当该占比大于预设阈值时，读取第一文件以及第二文件，并对其执行查询操作。如此，在预估出符合查询条件的数据在第一文件中的占比较大时，避免生成过滤条件所带来的数据查询效率变低、查询开销不减反增的问题。

技术领域

本申请实施例涉及数据处理技术领域，尤其涉及一种数据查询方法、装置、设备及存 储介质。

背景技术

在大数据时代，随着数据收集方法的拓展，数据收集的成本越来越低，相应的，数据 源中存储的数据量也越来越大。在针对海量数据进行查询分析时，数据查询效率以及查询 开销成为数据处理领域中的核心问题。

目前，数据处理系统在基于用户输入的查询语句进行数据查询时，通常是通过生成过 滤条件(dynamic filter，DF)来减少从数据源中读取的数据量，以此提高数据查询效率并降 低数据查询开销。但是，实际应用时数据处理系统生成的过滤条件，可能无法达到较好的 数据过滤效果，即过滤前后的数据量相差不大，此时，数据查询效率以及数据查询开销并 没有得到明显优化，反而可能会因为过滤条件所参与的生成、计算以及传输等过程会降低 数据处理系统的数据查询效率、增加查询开销。

发明内容

本申请实施例提供一种数据查询方法、装置、设备、存储介质以及计算机程序产品， 以使得数据处理系统的数据查询效率保持在较高水平，查询开销保持在较低水平。

第一方面，本申请实施例提供一种数据查询方法，该方法可以应用于数据处理系统， 并且该数据处理系统中包括协调节点以及工作节点。其中，协调节点可以向工作节点发送 针对第一文件以及第二文件进行查询操作的任务，所发送的任务中包括针对第一文件以及 第二文件的查询条件，并且，该第一文件的数据量大于第二文件的数据量。示例性的，协 调节点发送的任务，例如可以是协调节点生成的逻辑计划树等。工作节点根据接收到的任 务中的查询条件以及第一文件和第二文件分别对应的数据信息，预估第一文件中符合该查 询条件的数据在第一文件中的占比，并当该占比大于预设阈值时，读取第一文件以及第二 文件至工作节点，并对读取的第一文件以及第二文件执行查询操作。

由于符合查询条件的数据在第一文件中的占比较大时，说明待生成的过滤条件的过滤 效果较差，此时，数据处理系统通过直接读取第一文件以及第二文件并查询出符合查询条 件的数据，而可以不生成过滤条件对第一文件中的数据进行过滤，如此，可以避免生成过 滤条件所带来的数据查询效率变低、查询开销不减反增的问题，从而可以实现数据处理系 统的数据查询开销也能保持在较低水平。

在一种可能的实施方式中，当预估得到的第一文件中符合查询条件的数据在第一文件 中的占比，小于等于预设阈值时，工作节点可以读取第二文件，并查询该第二文件中满足 查询条件的第一数据；然后，工作节点可以根据第一数据生成过滤条件，并将该过滤条件 发送至第一文件所在数据源，该过滤条件可以用于指示数据源从第一文件中查询与该第一 数据匹配的第二数据，从而工作节点可以接收数据源发送的第二数据，并对该第一数据以 及第二数据执行查询操作。

在该实施方式中，当查询条件的数据在第一文件中的占比较小时，说明待生成的过滤 条件的过滤效果较优，此时，数据处理系统可以通过生成过滤条件的方式来减少工作节点 从数据源中读取的第一文件的数据量，从而可以使得数据处理系统的数据查询效率能够达 到较高水平，并且工作节点在查询符合查询条件的数据时，无需将第一文件中不符合该查 询条件的大量数据从数据源读取出来，从而可以有效减少数据处理系统的数据查询开销。