[发明专利]分区表访问方法、装置及设备、计算机可读存储介质

说明书

本发明公开一种分区表访问方法、装置及设备、计算机可读存储介质，该方法包括步骤：确定分区子表的命名与分区字段的对应关系，根据所述分区字段定位所述分区子表名称；根据定位到的所述分区子表名称，将待访问数据的结构化查询语言SQL语句，转换为待访问数据对应的分区子表的SQL语句；执行所述待访问数据对应的分区子表的SQL语句。本发明通过定位到的分区子表名称，可直接访问分区子表；避开了大量的元数据系统表访问，避免打开的表数量过多，绕开了影响访问耗时较多的环节；解决了在HAWQ系统中，请求访问分区表时的性能缓慢问题。

技术领域

本发明涉及计算机技术领域，尤其涉及一种分区表访问方法、装置及设备、计算机可读存储介质。

背景技术

在大数据时代背景下，各行各业的数据量激增，对基于海杜普的结构化查询语言(SQL on Hadoop)的应用需求非常迫切与强烈。IT和互联网厂商开始纷纷推出针对大数据场景下SQL(Structured Query Language，结构化查询语言)分析引擎。

HAWQ(Hadoop With Query)由GreenPlum发展而来，是一个Hadoop原生大规模并行SQL分析引擎，针对的是分析性应用。和其他关系型数据库类似，接受SQL，返回结果集。但它具有大规模并行处理很多传统数据库以及其他数据库没有的特性及功能。

在HAWQ的应用中，分区表(即含分区的表)十分常见，针对分区表的查询和插入操作也十分常用。在HAWQ中，表的每个分区均是一张分区子表，分区子表与独立的表并无本质区别。如果通过访问表(或相对“子表”而言称之为“主表”)进而访问分区中的数据，则系统首先访问主表的元数据，之后访问所有分区子表的元数据。而一张分区子表会涉及到大量元数据(主要是几十张单独存储的系统表)，分区数量过多会导致次数繁多的加载元数据的IO(Input/Output，输入/输出)操作，消耗大量的系统资源，进而导致请求(查询或插入)响应缓慢。表的分区数量越多，性能缓慢程度越明显。另一方面，在HAWQ中同时打开的表数量(或者称为同时申请的表“句柄”资源)本身也是一个资源。当同时打开的表数量过多，会导致该资源的大量占用，影响到请求的执行效率。

发明内容

有鉴于此，本发明的目的在于提供一种分区表访问方法、装置及设备、计算机可读存储介质，以解决在HAWQ系统中，请求访问分区表(查询或插入)时的性能缓慢问题。

本发明解决上述技术问题所采用的技术方案如下：

根据本发明的一个方面，提供的一种分区表访问方法，所述方法包括步骤：

确定分区子表的命名与分区字段的对应关系，根据所述分区字段定位所述分区子表名称；

根据定位到的所述分区子表名称，将待访问数据的结构化查询语言SQL语句，转换为待访问数据对应的分区子表的SQL语句；

执行所述待访问数据对应的分区子表的SQL语句。

根据本发明的另一个方面，提供的一种分区表访问装置，所述装置包括子表定位模块、SQL语句转换模块和执行模块；

所述子表定位模块，用于确定分区子表的命名与分区字段的对应关系，根据所述分区字段定位所述分区子表名称；

所述SQL语句转换模块，用于根据定位到的所述分区子表名称，将待访问数据的结构化查询语言SQL语句，转换为待访问数据对应的分区子表的SQL语句；

所述执行模块，用于执行所述待访问数据对应的分区子表的SQL语句。

根据本发明的另一个方面，提供的一种分区表访问设备，所述分区表访问设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的分区表访问程序，所述分区表访问程序被所述处理器执行时实现上述的分区表访问方法的步骤。