[发明专利]实现数据查询的方法和系统

说明书

本发明提供了一种实现数据查询的方法和系统。所述方法包括：一种实现数据查询的方法，包括如下步骤：获取查询请求；定位基于Hive的数据文件分区中所述查询请求对应的桶以及所述桶中的列；读取所述定位得到的桶中的列所对应的数据。所述系统包括：请求获取模块，用于获取查询请求；定位模块，用于定位基于Hive的数据文件分区中所述查询请求对应的桶以及所述桶中的列；读取模块，用于读取所述定位得到的桶中的列所对应的数据。采用本发明能提高数据的查询效率。

技术领域

本发明涉及数据处理技术，特别是涉及一种实现数据查询的方法和系统。

背景技术

随着数据量以及数据价值的不断增长，传统的数据仓库技术在各种方面都遇到了巨大的障碍，无法满足大数据处理的需求。

Hive是目前互联网企业中用于构建数据仓库、处理海量数据最常用的开源框架，但是由于在进行数据存储是未经过任何优化，导致其在很多场景下不能很好的体现其运行效率，特别是极大地影响了后期的查询效率。

发明内容

基于此，有必要提供一种能提高查询效率的实现数据查询的方法。

此外，还有必要提供一种能提高查询效率的实现数据查询的系统。

一种实现数据查询的方法，包括如下步骤：

获取查询请求；

定位基于Hive的数据文件分区中所述查询请求对应的桶以及所述桶中的列；

读取所述定位得到的桶中的列所对应的数据。

在其中一个实施例中，所述定位基于Hive的数据文件分区中所述查询请求对应的桶以及所述桶中的列的步骤包括：

转换所述查询请求为MapReduce任务；

获取元数据，根据所述元数据得到与所述MapReduce任务相关的基于Hive的数据文件分区；

根据定义的数据存储结构对所述MapReduce任务中的查询字段进行计算以得到相应的信息摘要值，并通过所述信息摘要值和预设的桶数量之间的取模得到与所述查询字段对应的数据存储位置，所述数据存储位置用于指示所述查询字段对应的桶和所述桶中的列。

在其中一个实施例中，所述读取所述定位得到的桶中的列所对应的数据的步骤包括：

根据所述查询字段对应的桶中的列进行数据加载，并对所述加载的数据进行处理。

在其中一个实施例中，所述定位基于Hive的数据文件分区中所述查询请求对应的桶以及所述桶中的列的步骤之前，所述方法还包括：

接收输入的原始数据，并将所述原始数据存储为第一数据表结构；

对所述存储为第一数据表结构的原始数据进行优化处理，以将优化处理所得到的数据存入配置文件所配置的基于Hive的数据文件分区中。

在其中一个实施例中，所述接收输入的原始数据，并将所述原始数据存储为第一数据表结构的步骤包括：

通过配置文件配置将所述原始数据存入包含分区信息的数据文件中，其中，被存入所述数据文件的原始数据以JSON格式存储。

在其中一个实施例中，所述对所述加载存储为第一数据表结构的原始数据进行优化处理，以将优化处理所得到的数据存入配置文件所配置的基于Hive的数据文件分区中的步骤包括：

逐一提取存储为第一数据表结构的原始数据中的每一行JSON格式的数据；

通过包含分区信息的数据文件得到对所述第一数据表结构的原始数据进行存储的基于Hive的数据文件的分区位置；