[发明专利]一种列存储文件的查询方法及查询装置

说明书

本发明实施例提供一种列存储文件的查询方法，包括：从终端获取用户输入的SPL查询语句；根据所述SPL查询语句，确定在分布式文件系统的第一文件中的查询范围；根据所述查询范围从所述第一文件中筛选出第二文件；将所述SPL查询语句按照预设转化规则转化为SQL语句；将所述第二文件导入至大数据平台SQL搜索引擎中，以使所述大数据平台SQL搜索引擎执行所述SQL语句，以搜索出目标查询文件，其中，所述大数据平台SQL搜索引擎包括Hive和/或Spark SQL；及将所述目标查询文件输出至所述终端。本发明实施例提供的列存储文件的查询方法，为原有日志搜索系统的用户提供了统一的查询模式，扩大了SPL语句的查询范围，为列存储数据的查询提供方便。

技术领域

本发明实施例涉及数据库管理技术领域，尤其涉及一种列存储文件的查询方法、查询装置、计算机设备及可读存储介质。

背景技术

当前的日志搜索系统中，Splunk公司开发的搜索处理语言(Search ProcessingLanguage，SPL)是一个常见的检索语言，用于查询已经被索引过的日志数据。然，有时因为对磁盘空间的要求，存放时间比较长的日志数据会以列存储的形式(比如parquet或者优化行柱(Optimized Row Columnar，orc))存放在分布式文件系统(Hadoop Distributed FileSystem，HDFS)上，以节省空间。当需要查询这些数据时，要求使用SPL语句查询这些列存储格式的数据文件。然，当前列存储格式的数据文件往往只支持使用结构化查询语言(Structured Query Language，SQL)作为查询语句的查询引擎，并进行数据查询，而不支持使用SPL语句进行查询。

因此，本发明旨在解决不支持SPL语句对列存储格式直接进行查询的问题。

发明内容

有鉴于此，有必要提供一种列存储文件的查询方法、查询装置、计算机设备及计算机可读存储介质，为原有日志搜索系统的用户提供了统一的查询模式，扩大了SPL语句的查询范围，为列存储数据的查询提供方便。

为实现上述目的，本发明实施例提供了一种列存储文件的查询方法，所述方法包括：

从终端获取用户输入的SPL查询语句；

根据所述SPL查询语句，确定在HDFS的第一文件中的查询范围，其中，所述第一文件为列存储文件，所述第一文件按照预设存储规则进行分类存储，所述预设存储规则包括：时间顺序、应用名称和/或操作人员ID；

根据所述查询范围从所述第一文件中筛选出第二文件；

将所述SPL查询语句按照预设转化规则转化为SQL语句；

将所述第二文件导入至大数据平台SQL搜索引擎中，以使所述大数据平台SQL搜索引擎执行所述SQL语句，以搜索出目标查询文件，其中，所述大数据平台SQL搜索引擎包括Hive和/或Spark SQL；及

将所述目标查询文件输出至所述终端。

优选地，所述将所述SPL查询语句按照预设转化规则转化为SQL语句的步骤之前，还包括步骤：

获取所述用户输入的创建视图指令；

识别并执行所述创建视图指令以建立视图；及

获取所述用户输入的视图名。

优选地，预先建立SPL语句常用命令以及SQL语句常用命令的转化映射表，并将所述转化映射表存储于数据库中，其中，所述转化映射表至少包括：SPL语句常用命令类型、SQL语句常用命令类型及所述SPL语句常用命令与所述SQL语句常用命令在所述视图名确定时的映射关系，所述将所述SPL查询语句按照预设转化规则转化为SQL语句的步骤，还包括步骤：

识别与所述SPL查询语句对应的命令类型；及