[发明专利]数据查询方法及装置

说明书

技术领域

本申请涉及数据处理领域，具体而言，涉及一种数据查询方法及装置。

背景技术

在现有技术中，用户提交计算请求至数据仓库计算平台，提交至数据仓库平台的类SQL语句会转换为映射化简命令来执行，执行过程中，映射化简命令会为映射计算和化简计算分配计算资源，其中，数据仓库估算化简任务数（即任务预计需要的资源的数量）以便为化简计算分配计算资源的方法如下：

（1）判断任务是否需要进行化简操作，如不需要化简操作，将化简任务数设置为0，然后跳出；如需要进行化简操作则执行步骤（2）；

（2）判断是否在编译时确定化简的任务数为1（即化简任务数，也即化简任务的数量），如果在编译时确定化简任务数为1，则将化简任务数设置为1，然后跳出；如果不是在编译时确定化简任务数为1，则执行步骤（3），其中，

（3）判断任务是否已经手动设置化简任务数，如果已经手动设置化简任务数，则将化简任务数设置为此手动设置的值，跳出；如果没有手动设置化简任务数，则执行步骤（4）；

（4）根据映射的输入大小（即map_input_bytes，映射任务时所输入的输入值）估算化简任务数，默认为将映射的输入的1G Bytes估算为1个化简任务数，根据映射的输入大小估算的化简任务数设置此任务的化简任务数。

对于上述数据仓库估算化简任务数方法的步骤（4），数据仓库计算平台根据映射的输入大小估算映射化简任务的化简任务数，这种方法估算出的化简任务数不准确，导致任务运行缓慢或者资源浪费，为了解决此问题，现有技术中的化简任务数自动优化系统可以对数据仓库计算平台估算的化简任务数进行自动优化。

图1是根据本申请现有技术的化简优化方法的流程图。如图1所示，该方法包括如下步骤：

步骤A：根据HQL语句进行计算，以获取HQL的指纹信息；

步骤B：对HQL语句进行解析，获取任务数据集；

步骤C：根据指纹信息获取任务历史日志数据，估算并设置任务数据集中的化简任务数，以获取处理后的任务；

步骤D：提交并执行处理后的任务数据集中的映射化简任务；

步骤E：解析映射化简任务的执行日志并将执行日志保存在数据库中。

由上述数据仓库计算平台估算化简任务数的方法可知，上述方法步骤C中，对于化简任务数不为1的映射化简任务的化简任务数重新估算并设置，而对于数据仓库计算平台估算的化简任务数为1的映射化简任务不进行重新估算和设置，这样化简自动优化系统对化简任务数优化的结果就不准确，从而使得系统分配给执行该任务的资源不准确，从而导致任务的处理速度缓慢。

针对现有技术中由于系统在处理任务时分配任务资源不准确，导致任务的处理速度缓慢且浪费资源的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术由于数据仓库计算平台在处理任务时估算化简任务数不准确，导致任务的处理速度缓慢且浪费资源的问题，目前尚未提出有效的解决方案，为此，本申请的主要目的在于提供一种数据查询方法及装置，以解决上述问题。

为了实现上述目的，本申请提供了一种数据查询方法，包括：获取查询请求，其中，查询请求包括任务的标识以及任务预计需要的资源的数量N；判断任务预计所需要的资源的数量N是否根据映射任务所输入的输入值确定；在任务预计所需要的资源的数量N是根据映射任务所输入的输入值确定的情况下，对任务预计所需的资源的个数N进行更新得到当前为任务分配的资源的数量M；使用M个为任务分配的资源执行任务，以得到与查询请求对应的查询结果。

进一步地，在判断任务预计所需要的资源的数量N是否根据映射任务所输入的输入值确定之后，方法还包括：在任务预计所需要的资源的数量N不是根据映射任务所输入的输入值确定的情况下，为任务分配N个资源，并使用N个为任务分配的资源执行任务，以得到与查询请求对应的查询结果。

进一步地，判断任务预计所需要的资源的数量N是否根据映射任务所输入的输入值确定的步骤包括：获取任务的标识；检测任务的标识中是否设置有标签，其中，标签用于指示任务预计所需要的资源的数量N是否根据映射任务所输入的输入值确定的；在任务的标识中设置有标签的情况下，得到任务预计所需要的资源的数量N不是根据映射任务所输入的输入值确定的判断结果；在任务的标识中没有设置标签的情况下，得到任务预计所需要的资源的数量N是根据映射任务所输入的输入值确定的判断结果。