[发明专利]一种PB级海量数据的实时查询方法和装置

权利要求书

1.一种PB级海量数据的实时查询方法，其特征在于，应用于逻辑数据库，所述逻辑数据库包括Hive数据库，所述方法包括：

响应于用户输入的数据查询请求，确定与所述数据查询请求对应的目标索引信息；

从所述Hive数据库中确定与所述目标索引信息对应的目标数据文件；所述目标索引信息包括提取起始位置和提取终止位置；

在所述目标数据文件中从所述提取起始位置开始提取数据记录，直至所述提取终止位置；

对所述数据记录进行JSON序列化，生成序列数据并输出。

2.根据权利要求1所述的方法，其特征在于，所述逻辑数据库包括HBase索引表，所述响应于用户输入的数据查询请求，确定与所述数据查询请求对应的目标索引信息的步骤，包括：

接收用户输入的数据查询请求，所述数据查询请求包括关键字；

在所述HBase索引表中确定与所述关键字匹配的目标索引信息。

3.根据权利要求2所述的方法，其特征在于，所述Hive数据库包括多个Hive数据表，每个所述Hive数据表包括多个分区，每个所述分区包括多个数据文件，所述目标索引信息还包括目标Hive表名、目标分区序号和目标文件序号，所述从所述Hive数据库中确定与所述目标索引信息对应的目标数据文件的步骤，包括：

依据所述目标Hive表名从所述Hive数据库中选择目标Hive数据表；

依据所述目标分区序号从所述目标Hive数据表中的多个分区中确定目标分区；其中，所述分区处于可使用状态；

依据所述目标文件序号从所述目标分区中确定目标数据文件。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

当用户输入数据写入请求时，响应于所述数据写入请求，执行数据写入操作。

5.根据权利要求4所述的方法，其特征在于，所述数据写入请求携带有写入文件规格参数，所述响应于所述数据写入请求，执行数据写入操作的步骤，包括：

响应于所述数据写入请求，接收用户输入的多个输入数据文件；

按照预设关键字的顺序对所述多个输入数据文件进行排序，得到多个已排序数据文件，所述已排序数据文件的大小由所述写入文件规格参数设置；

遍历所述多个已排序数据文件，生成与所述预设关键字的数量相等的待添加索引信息；

在所述HBase索引表中添加所述待添加索引信息；

在所述Hive数据表中创建新的分区，并将所述已排序数据文件写入到所述新的分区；

更新所述新的分区的状态为可使用状态。

6.一种PB级海量数据的实时查询装置，其特征在于，应用于逻辑数据库，所述逻辑数据库包括Hive数据库，包括：

索引信息确定模块，用于响应于用户输入的数据查询请求，确定与所述数据查询请求对应的目标索引信息；

目标数据文件确定模块，用于从所述Hive数据库中确定与所述目标索引信息对应的目标数据文件；所述目标索引信息包括提取起始位置和提取终止位置；

数据记录提取模块，用于在所述目标数据文件中从所述提取起始位置开始按预设提取顺序提取数据记录，直至所述提取终止位置；

序列数据输出模块，用于对所述数据记录进行JSON序列化，生成序列数据并输出。

7.根据权利要求6所述的装置，其特征在于，所述逻辑数据库包括HBase索引表，所述索引信息确定模块包括：

数据查询请求接收子模块，用于接收用户输入的数据查询请求，所述数据查询请求包括关键字；

目标索引信息确定子模块，用于在所述HBase索引表中确定与所述关键字匹配的目标索引信息。