[发明专利]一种异构数据源可视化查询方法有效
申请号: | 201811547858.4 | 申请日: | 2018-12-18 |
公开(公告)号: | CN109815283B | 公开(公告)日: | 2020-10-09 |
发明(设计)人: | 王海荣;肖万来;刘娟;朱文洲;徐云龙 | 申请(专利权)人: | 中科曙光南京研究院有限公司 |
主分类号: | G06F16/25 | 分类号: | G06F16/25;G06F16/245 |
代理公司: | 南京苏高专利商标事务所(普通合伙) 32204 | 代理人: | 常虹 |
地址: | 211100 江苏省南*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据源 可视化 查询 方法 | ||
1.一种异构数据源可视化查询方法,其特征在于,包括:用户在前台可视化界面选择查询范围,所述查询范围包括一个或多个数据源;判断所选数据源是否已加载到presto集群中;如果所选数据源没有加载到presto集群,在presto集群中增加待加载数据源;向presto集群发送查询语句,在所选查询范围内完成查询;
所述在presto集群中增加待加载数据源,包括如下步骤:
(1)注册待加载数据源;
(2)在catalog文件夹中生成待加载数据源的配置文件;
(3)根据待加载数据源的类型,检测是否为presto集群中内置的数据源插件,如果是,presto集群动态加载catalog文件夹中的配置文件;如果不是,创建所述待加载数据源的插件,并内置到presto集群中,加载catalog文件夹中的配置文件,完成数据源的动态加载;
向presto集群发送查询语句之前还包括如下步骤:
将查询任务分解为数据表和操作命令;采用Raphaeljs控件根据分解后的查询任务构建矢量图,所述矢量图中的节点包括所述查询任务中的数据表和操作命令;将构建的矢量图在前台可视化界面上显示;后台将所述矢量图解析为结构化查询语句,发送至presto集群完成查询;所述操作命令包括连接、函数、筛选、聚合。
2.根据权利要求1所述的异构数据源可视化查询方法,其特征在于,还包括:后台根据查询的复杂程度对转化得到的结构化查询语句进行动态优化调整;所述优化调整包括:对于复杂查询,采取打包拆分的方式,将其中相关的查询要求封装成子查询,基于子查询的结果再次进行筛选和过滤;对于简单的查询,采用谓词下推,增强筛选条件并进行过滤;将优化调整后的结构化查询语句发送至presto集群。
3.根据权利要求1所述的异构数据源可视化查询方法,其特征在于,还包括向presto集群发送查询语句后,根据presto集群返回的任务数据块数量,判断是否超过了已启动的presto工作节点的任务数据块数量阈值;如果超过了任务数据块数量阈值,启动新的presto工作节点服务;重新向presto集群发送查询语句;
当一段时间内任务数据块数量低于已启动的presto工作节点的任务数据块数量阈值,关闭部分presto工作节点服务。
4.根据权利要求3所述的异构数据源可视化查询方法,其特征在于,对所有presto工作节点设定优先级别,启动时先启动优先级高的presto工作节点,关闭时先关闭优先级低的presto工作节点。
5.根据权利要求1所述的异构数据源可视化查询方法,其特征在于,对用户设置权限,根据所述用户权限对用户和查询队列进行匹配,用户发送的查询语句提交至于所述用户匹配的查询队列中。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中科曙光南京研究院有限公司,未经中科曙光南京研究院有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811547858.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种炼铁系统大数据平台
- 下一篇:一种数据处理的方法和装置