[发明专利]一种混合存储介质的数据查询方法和装置

说明书

技术领域

本发明涉及数据存储领域，特别是指一种混合存储介质的数据查询方法和 装置。

背景技术

目前，企业级数据仓库一般采用数据库系统作为底层基础架构。在大数据 背景下，很多企业开始尝试使用Hadoop(分布式计算)之类的新一代数据仓库 技术进行构建。作为数据库和数据仓库领域的通用标准语言SQL(结构化查询 语言)，也顺势被移植到了Hadoop上面。最典型也是当前最广泛应用的是 Apache(世界使用排名第一的Web服务器软件)社区的Hive(数据仓库工具)工具， 能够使用类似SQL的语言HiveQL对Hadoop里存储的大量数据进行查询。

在实际应用过程中，客户需要对大量数据进行汇集和转移，而原始数据往 往位于Oracle(甲骨文公司)这样的传统数据库中。一般来讲，客户和项目实 施方会根据数据的逻辑定义去确定数据转移到Hadoop平台中的存储格式，然 后花大量时间进行数据ETL(数据从来源端经过萃取、转置、加载至目的端的 过程)工作。对于TB(万亿字节)级别数据，针对国内普遍数据中心还处于千兆 网的环境前提下，轻则1-2天，重则需要更长的时间甚至数周，而数据在搬运 后还需要各种清洗加工，这对于希望能快速建模，探索大数据价值的公司来说， 无疑是极大的时间成本。

发明内容

本发明要解决的技术问题是，提供一种混合存储介质的数据查询方法和装 置，能够实现统一对混合存储介质上的数据进行查询。

一方面，提供一种混合存储介质的数据查询方法，包括：

获取待查询数据表；

在地址数据库中，获取所述待查询数据表对应的至少一个地址信息，所述 地址信息记录有所述待查询数据表所在的一存储介质以及所述待查询数据表 在所述存储介质中的存储地址；

根据所述地址信息中的所述存储介质以及所述存储地址，在所述存储介质 的所述存储地址处，查找所述待查询数据表。

当所述存储介质为关系数据库时，所述地址信息包括：数据库地址和数据 库名称；

当所述存储介质为HDFS时，所述地址信息包括：节点地址和文件路径。

所述地址信息还包括：端口。

所述的方法，还包括：

根据所述端口，从所述存储介质的所述存储地址处，读取查找的所述待查 询数据表。

所述获取待查询数据表的步骤之前，所述方法还包括：

获取各数据表所在的存储介质以及各数据表在所述存储介质中的存储地 址；

根据所述各数据表所在的存储介质以及各数据表在所述存储介质中的存 储地址，形成各数据表的地址信息；

建立各数据表与所述各数据表的地址信息之间的对应关系。

另一方面，提供一种混合存储介质的数据查询装置，包括：

第一获取模块，获取待查询数据表；

第二获取模块，在地址数据库中，获取所述待查询数据表对应的至少一个 地址信息，所述地址信息记录有所述待查询数据表所在的一存储介质以及所述 待查询数据表在所述存储介质中的存储地址；

查找模块，根据所述地址信息中的所述存储介质以及所述存储地址，在所 述存储介质的所述存储地址处，查找所述待查询数据表。

当所述存储介质为关系数据库时，所述地址信息包括：数据库地址和数据 库名称；

当所述存储介质为HDFS时，所述地址信息包括：节点地址和文件路径。

所述地址信息还包括：端口。

所述的装置，还包括：

读取模块，根据所述端口，从所述存储介质的所述存储地址处，读取查找 的所述待查询数据表。

所述的装置，还包括：

第三获取模块，获取各数据表所在的存储介质以及各数据表在所述存储介 质中的存储地址；

形成模块，根据所述各数据表所在的存储介质以及各数据表在所述存储介 质中的存储地址，形成各数据表的地址信息；

建立模块，建立各数据表与所述各数据表的地址信息之间的对应关系。

本发明的上述技术方案的有益效果如下：

本发明通过对地址信息的建立，所述地址信息记录有所述待查询数据表所 在的一存储介质以及所述待查询数据表在所述存储介质中的存储地址,能够实 现统一对混合存储介质上的数据进行查询。

附图说明