[发明专利]一种异构数据源可视化查询方法

说明书

本发明公开了一种异构数据源可视化查询方法，用户在前台可视化界面选择查询范围；判断所选数据源是否已加载到presto集群中；如果所选数据源没有加载到presto集群，在presto集群中增加待加载数据源；向presto集群发送查询语句，在所选查询范围内完成查询；通过检测待加载数据源所需插件是否为presto集群中内置的数据源插件，如果是，presto集群动态加载catalog文件夹中的配置文件；如果不是，创建所述待加载数据源的插件，并内置到Presto集群中，加载catalog文件夹中的配置文件，完成数据源的加载。该方法通过配置不同的数据源基本信息，采用图形化界面的操作，动态加载数据源，实现基于presto的异构数据源的查询。

技术领域

本发明涉及计算机技术领域，具体地，涉及一种异构数据源可视化查询方法。

背景技术

在大数据爆发的时代，数据的存放形式有很多种，主要是结构化数据，半结构化数据和非结构化数据。不同的数据存放于不同的数据源中，大多数的结构化数据存放于关系型数据源中，主流为mysql，oracle，sqlserver、达梦和金仓数据源等国产数据库；将历史数据或者经过清洗转化的数据存放于hive等大数据平台中的数据源或基于share nothing架构的MPP数据源；半结构化数据，如流式数据主要存放于kafka中，文件服务器中存放了大量规整的日志文件，内存数据库redis中存放的半结构化的键值数据。不同的数据源中的数据需要进行整合查询，依据不同数据源中的信息，进行统一的统计分析。面对异构数据源中的大数据，如何进行快速查询，传统解决方式是，首先针对不同的数据源编写特定的查询程序，一般为jdbc程序，将jdbc中查询的结果集封装在集合一中，然后针对其他的数据源，如半结构化的数据源，日志数据，也使用特定的api将数据封装在特定的集合二中，最后针对集合一和集合二中的数据，使用java api对数据进行查询分析。还有一种方式是将数据统一汇聚到某平台中，比如说oracle数据库或者hive数据仓库中，然后利用各自的查询方式对汇集的数据进行查询和分析。

目前的查询方式需要针对不同的数据源编写大量的适配程序，因为除了普通关系型数据所提供的jdbc接口之外，还需要对流式消息型数据进行适配，和半结构化的日志文件进行适配。一般适配完成的接口，并不能使用结构化查询语言对数据进行汇总统计。针对第二种汇总到统一平台中的数据，这个首先需要编写大量的采集抽取程序，将数据进行统一汇总，不能根据查询的复杂度进行线性扩展查询，只能使用本机器的机器资源，不能使用额外的节点进行增强查询。这个里面可能会存在的问题就是当统计需求变化了，或者查询的数据源变化了，那么需要大量人力调整统计方式及汇总方式，在不使用结构化查询语句进行查询的时候，可能需要大量的人力成本进行维护。当出现大数据集的时候，可能会因为节点资源的受限，从而导致查询溢出及查询耗费大量时间。

发明内容

发明目的：本发明旨在提供一种异构数据源可视化查询方法，通过配置不同的数据源基本信息，采用图形化界面的操作，动态加载数据源，实现基于presto的异构数据源的查询。

技术方案：本发明采用如下技术方案：

一种异构数据源可视化查询方法，包括：用户在前台可视化界面选择查询范围，所述查询范围包括一个或多个数据源；判断所选数据源是否已加载到presto集群中；如果所选数据源没有加载到presto集群，在presto集群中增加待加载数据源；向presto集群发送查询语句，在所选查询范围内完成查询；

所述在presto集群中增加待加载数据源，包括如下步骤：

(1)注册待加载数据源；

(2)在catalog文件夹中生成待加载数据源的配置文件；