[发明专利]数据查询方法、数据查询装置、电子设备及存储介质

说明书

本发明实施例提供了一种数据查询方法、数据查询装置、电子设备及存储介质，数据查询方法包括对查询语句进行解析，得到多个查询语句解析结果。生成所述多个查询语句解析结果的多个查询执行计划，所述多个查询执行计划分别与数据资产管理中的多个数据源的中间件对应。分别通过所述多个数据源的中间件，获得所述多个查询执行计划的多个查询结果。基于所述多个查询执行计划之间的层级关系，将所述多个查询结果聚合，得到当前查询结果。本发明的方案提高了在数据资产管理中数据查询的效率。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种数据处理方法、数据查询装置、电子设备及存储介质。

背景技术

数据资产管理着力构建数据资产管理体系，通过数据资产管理可将数据规范管理和数据处理实现有机的融合，实现对具体资源数据的元数据描述，支持利用标准化的数据接口以及形式丰富图表展示工具，可快速定制各类数据资产应用，配合数据资产的全面评估，实现数据资产的全生命周期管理、全流程管理、全景式管理。

每个企业在数据资产管理系统中的数据平均都涉及至少两到三种不同类型的数据源，这些数据源连接诸如mysql、postgres、oracle等关系型数据库，也有可能是诸如elasticserch、hive、mongoDB等非关系型数据库。这些数据源连接的数据库之间的差异造成了系统间的数据难以共享，数据资产管理也因此受到影响。尤其是在多数据源的情况下进行多表查询时，需要挨个访问这些数据源连接的不同数据库以获得需要的所有数据，数据查询过程耗时久、查询效率低。

因此，如何在数据资产管理中提高基于多数据源的数据查询的效率成为亟待解决的技术问题。

发明内容

有鉴于此，本发明实施例提供一种数据查询方法、数据查询装置、电子设备及存储介质，以至少部分解决上述问题。

根据本发明实施例的第一方面，提供了一种数据查询方法，包括对查询语句进行解析，得到多个查询语句解析结果。生成多个查询语句解析结果的多个查询执行计划，多个查询执行计划分别与数据资产管理中的多个数据源的中间件对应。分别通过多个数据源的中间件，获得多个查询执行计划的多个查询结果。基于多个查询执行计划之间的层级关系，将多个查询结果聚合，得到当前查询结果。

在一种实现方式中，对查询语句进行解析，得到多个查询语句解析结果包括通过预设的多数据源查询引擎对查询语句进行解析，得到多个数据源的类型。根据多个数据源的类型，分别确定多个查询语句解析结果。

在另一种实现方式中，分别通过多个数据源的中间件，获得多个查询执行计划的多个查询结果，包括基于多个查询计划之间的层级关系，将多个查询执行计划划分为多个子任务。通过多个数据源的中间件，将多个子任务和多个数据源进行配对，得到多个查询结果。

在另一种实现方式中，基于多个查询执行计划之间的层级关系，将多个查询结果聚合，得到当前查询结果包括将多个查询结果返回到多数据源查询引擎。通过多数据源查询引擎根据多个查询执行计划之间的层级关系，对多个查询结果按层级进行聚合，得到当前查询结果，并且将当前查询结果返回到输入查询语句的客户端。

在另一种实现方式中，数据查询方法还包括确定多个。根据管理目录的目录状态，通过多个数据源的中间件管理多个数据源。

在另一种实现方式中，根据管理目录的目录状态，通过多个数据源的中间件管理多个数据源包括在监测到管理目录的目录状态指示增加至少一个数据源时，获取至少一个数据源的数据信息到中间件中。

根据本发明实施例的第二方面，提供了一种数据查询装置，包括解析单元，用于对查询语句进行解析，得到多个查询语句解析结果。生成单元，用于生成多个查询语句解析结果的多个查询执行计划，多个查询执行计划分别与多个数据源的中间件对应。执行单元，用于分别通过多个数据源的中间件，获得多个查询执行计划的多个查询结果。聚合单元，用于基于多个查询执行计划之间的层级关系，将多个查询结果聚合，得到查询结果。