[发明专利]一种数据查询方法、装置、终端、presto查询引擎及存储介质有效
申请号: | 201811279323.3 | 申请日: | 2018-10-30 |
公开(公告)号: | CN111125178B | 公开(公告)日: | 2021-05-28 |
发明(设计)人: | 朱顺利;杨茹越 | 申请(专利权)人: | 亿度慧达教育科技(北京)有限公司 |
主分类号: | G06F16/2458 | 分类号: | G06F16/2458;G06F16/28 |
代理公司: | 上海知锦知识产权代理事务所(特殊普通合伙) 31327 | 代理人: | 汤陈龙;李丽 |
地址: | 100039 北京市石景山区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据 查询 方法 装置 终端 presto 引擎 存储 介质 | ||
1.一种数据查询方法,其特征在于,应用于终端,包括:
获取查询条件,所述查询条件包括查询字段及查询时间段;
若部分查询时间段距当前时间处于预定时间内,将所述查询时间段划分为第一时间段和第二时间段;所述第一时间段距当前时间处于预定时间内,所述第二时间段距当前时间超出预定时间;
根据第一时间段和查询字段,生成查询第一数据源的第一请求,及根据第二时间段和查询字段,生成查询第二数据源的第二请求;其中,所述第一数据源存储有数据采集时间距当前时间处于预定时间内的数据,所述第二数据源存储有数据采集时间距当前时间超出预定时间的数据;
联合第一请求和第二请求生成目标查询请求,所述目标查询请求包括目标SQL语句,所述第一请求包括第一SQL语句,所述第二请求包括第二SQL语句;
向presto查询引擎提交目标查询请求,以便所述presto查询引擎解析所述目标SQL语句生成查询执行计划,以及所述presto查询引擎将查询执行计划拆分成多个具有层级关系的阶段stage,所述stage被划分为第一SQL语句相应的第一查询任务,及第二SQL语句相应的第二查询任务。
2.根据权利要求1所述的数据查询方法,其特征在于,所述查询时间段包括查询起始时间和查询结束时间;所述部分查询时间段距当前时间处于预定时间内包括:
查询起始时间距当前时间超出预定时间,且查询结束时间距当前时间处于预定时间内。
3.根据权利要求1或2所述的数据查询方法,其特征在于,还包括:
若全部查询时间段距当前时间超出预定时间,根据查询时间段和查询字段生成查询第二数据源的查询请求,并向presto查询引擎提交该查询请求;
若全部查询时间段距当前时间处于预定时间内,根据查询时间段和查询字段生成查询第一数据源的查询请求,并向presto查询引擎提交该查询请求。
4.根据权利要求1或2所述的数据查询方法,其特征在于,所述根据第一时间段和查询字段,生成查询第一数据源的第一请求包括:
将第一时间段和查询字段组成的查询条件以SQL语句的形式进行拼接,形成第一SQL语句,所述第一SQL语句中指示查询数据源与第一数据源相应;
所述根据第二时间段和查询字段,生成查询第二数据源的第二请求包括:
将第二时间段和查询字段组成的查询条件以SQL语句的形式进行拼接,形成第二SQL语句,所述第二SQL语句中指示查询数据源与第二数据源相应;
所述联合第一请求和第二请求生成目标查询请求包括:
联合第一SQL语句和第二SQL语句生成目标SQL语句。
5.根据权利要求4所述的数据查询方法,其特征在于,所述向presto查询引擎提交目标查询请求包括:
将目标SQL语句拼成字符串;
通过AJAX请求向presto查询引擎提交目标SQL语句拼成的字符串。
6.根据权利要求1或5所述的数据查询方法,其特征在于,所述获取查询条件包括:
导入配置文件;所述配置文件记录有查询字段名与字段名ID的对应关系;
解析配置文件,展示配置文件记录的查询字段名;
选择至少一个查询字段名,并获取各选择的查询字段名相应的字段内容,确定出查询字段;
根据时间选择组件选择查询时间段。
7.根据权利要求2所述的数据查询方法,其特征在于,所述将所述查询时间段划分为第一时间段和第二时间段包括:
确定查询时间段中距当前时间处于预定时间内的时间分界点;
将时间分界点至查询结束时间对应的时间段作为第一时间段,将查询起始时间至时间分界点对应的时间段作为第二时间段。
8.根据权利要求1或5或7所述的数据查询方法,其特征在于,所述第一数据源为kafka数据源,第二数据源为hive数据源。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于亿度慧达教育科技(北京)有限公司,未经亿度慧达教育科技(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811279323.3/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置