[发明专利]数据查询处理方法、装置及系统、计算机可读存储介质

说明书

本公开提供了一种数据查询处理方法、装置及系统、计算机可读存储介质。所述数据查询处理方法包括：接收查询处理请求，根据从全局元数据库获取的全局元数据信息确定所述查询处理请求涉及的数据组件，以及，根据所述全局元数据信息生成查询执行计划；其中，所述全局元数据库的全局元数据信息包括数据组件的元数据信息；基于所述查询执行计划，与所述查询处理请求所涉及的数据组件交互完成数据操作。本实施例提供的方案，根据全局元数据信息确定涉及的数据组件，可以对业务应用层屏蔽底层数据存储细节。

技术领域

本发明实施例涉及但不限于一种数据查询处理方法、装置及系统、计算机可读存储介质。

背景技术

对于海量数据的存储，由于数据记录数量极大，已经超出了关系型数据库的设计范围；在这样的情况下，业界常用的解决方案有HIVE、HBASE等。

Hive是建立在Hadoop上的数据仓库基础构架，数据以文件块的方式存储。Hive提供了简单的类SQL(Structured Query Language，结构化查询语言)，类SQL(即HQL)允许使用者以类似SQL的方式查询数据。HIVE将SQL请求转换为MapReduce进行处理，在作业提交和调度的时候需要大量的开销。因此并不能够在大规模数据集上实现低延迟快速的查询；Hive的最佳使用场合是大数据集的批处理作业，例如对行为日志的分析处理。

HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，可在廉价PCServer上搭建起大规模结构化存储集群。HBase不同于一般的关系数据库，其采取列存储模式，并以key-value的格式存储数据。因此在获得主键(rowkey)后，可以快速的取得相应字段的值；因此也导致了主键的设计与业务场景是强耦合，扩展性较差。HBASE并未提供类SQL接口，需要开发者通过应用程序接口(API)调用。

海量数据应用领域的其它组件，也都难以兼顾各类应用场景。因此在实践中，需要依据具体的应用场景采取不同的组件，再依据该组件提供的查询接口进行定制开发。在这样的机制下，为应对多元的应用场景，需要部署多个数据处理组件支撑完整的业务需求。由此带来以下问题：需要依照各数据组件提供的访问接口进行开发，增加工程复杂度。各数据组件物理隔离，无法对数据作关联(join(关联)、union(联合)等)分析。

目前较常用的解决方案有两类：

第一类方案先分别对各数据组件中的数据进行分析处理，将其结果形成中间表，存放在关系型数据库或分布式关系型数据库中；之后对中间表作关联操作；最后依据形成的关联结果信息，分别从各数据组件中捞取详细信息。这种方式有着以下明显的局限性：1、需要直接对接各数据组件，增加业务代码的开发工作量及维护工作量；2、数据存储方式与应用场景耦合度高，数据处理逻辑处理较复杂，影响业务应用快速部署能力。3、对数据进行了多次读取，对集群资源有较大的消耗。

第二类方案部署支持对多数据源的数据进行关联分析的组件；其中应用较为广泛的是Presto。如图1所示，Presto是Facebook推出的一个基于Java开发的大数据分布式SQL查询引擎，可以查询存储在Hive、Redis、Cassandra、Mysql、Oracle等数据产品中的数据，可对来自多个数据源的数据进行关联分析。但Presto存在着明显的局限性：需要通过schema指定所使用的数据源；对业务层而言，依然需要在逻辑上对数据存储进行分割，增加工程实施复杂度。

发明内容

本发明至少一实施例提供了一种数据查询处理方法、装置及系统、计算机可读存储介质，降低查询复杂度。

本发明至少一实施例提供一种数据查询处理方法，包括：

接收查询处理请求，根据从全局元数据库获取的全局元数据信息确定所述查询处理请求涉及的数据组件，以及，根据所述全局元数据信息生成查询执行计划；其中，所述全局元数据库的全局元数据信息包括数据组件的元数据信息；