[发明专利]数据提取方法及装置

说明书

本发明公开了一种数据提取方法及装置，应用于大数据技术领域，该方法包括：接收上层应用发送的数据获取请求；从数据获取请求中提取SQL参数；将所述SQL参数按照预设的语义规则进行分解，得到至少一个SQL字段；根据至少一个SQL字段中的指定字段，确定上层应用是否指定提取数据的数据引擎；如果上层应用没有指定数据引擎，则根据预设的SQL语句和至少一个SQL字段组合混合SQL查询语句，所述混合SQL查询语句为从各个数据引擎中提取数据的SQL语句的集合；利用所述混合SQL查询语句中每个SQL语句从对应的数据引擎中提取目标数据。本发明可以降低数据查询、提取的学习成本，提升数据查询、提取效率。

技术领域

本发明涉及大数据技术领域，尤其涉及一种数据提取方法及装置。

背景技术

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

数据库即存放数据的仓库，可以按一定规则的存放数据。当今世界是一个充满着数据的互联网世界，有大量且种类丰富的数据。数据源也是多种多样，比如消费账单、出行服务、短信、网站浏览记录等等。除了常见的文本类型的数据，图像、声音等都是数据。数据不同，数据存储引擎也不一样，比如，服务器系统性能的监控数据是序列化数据，存储在prometheus上，而prometheus查询有专门的SQL，即PromQL。运行日志数据存放在ElasticSearch，而ES有专门的SQL，即Query DSL。缓存数据是存放在redis中的，就需要调用redis的应用程序接口(Application Programming Interface，API)获取数据。

在进行数据提取时需要得到不同存储介质中的数据，目前一般都是采用不同的查询语句获取不同类型的数据，再对不同类型的数据进行聚合，得到所需提取的全部数据。如此查询，需要学习不同数据引擎的查询语法，并分别从多个数据引擎中提取所需查询的数据，存在学习成本较高，数据提取效率低下的问题。

发明内容

本发明实施例提供一种数据提取方法，用以降低数据查询、提取的学习成本，提升数据查询、提取效率，该方法包括：

接收上层应用发送的数据获取请求；

从数据获取请求中提取SQL参数；

将所述SQL参数按照预设的语义规则进行分解，得到至少一个SQL字段；

根据至少一个SQL字段中的指定字段，确定上层应用是否指定提取数据的数据引擎；

如果上层应用没有指定数据引擎，则根据预设的SQL语句和至少一个SQL字段组合混合SQL查询语句，所述混合SQL查询语句为从各个数据引擎中提取数据的SQL语句的集合；

利用所述混合SQL查询语句中每个SQL语句从对应的数据引擎中提取目标数据。

本发明实施例还提供一种数据提取装置，用以降低数据查询、提取的学习成本，提升数据查询、提取效率，该装置包括：

通信模块，用于接收上层应用发送的数据获取请求；

提取模块，用于从数据获取请求中提取SQL参数；

字段分解模块，用于将所述SQL参数按照预设的语义规则进行分解，得到至少一个SQL字段；

确定模块，用于根据至少一个SQL字段中的指定字段，确定上层应用是否指定提取数据的数据引擎；

语句组合模块，用于当上层应用没有指定数据引擎时，根据预设的SQL语句和至少一个SQL字段组合混合SQL查询语句，所述混合SQL查询语句为从各个数据引擎中提取数据的SQL语句的集合；

提取模块，还用于利用所述混合SQL查询语句中每个SQL语句从对应的数据引擎中提取目标数据。