[发明专利]基于异构数据源和分布式文件系统的融合查询方法

说明书

技术领域

本发明涉及异构数据源查询技术领域，尤其是一种基于异构数据源和分布式文件系统的融合查询方法。

背景技术

近年来，伴随着计算机技术和互联网的快速发展，开启信息爆炸的时代。社会上充斥着比以往更多的数据，促成种类繁多的数据系统的建立。传统的数据存储方式多是基于关系型数据库如myspl、oracle和sqlserver进行存储，在少量数据的场景下，获得了良好的用户体验。但随着海量数据时代的到来，新型的分布式文件系统HDFS，因其高容错和更廉价的存储扩展，收到越来越多人的青睐。全文搜索是大数据时代的关键应用，Elastic Search作为当前流行的企业级搜索引擎，能够达到实时搜索、稳定、可靠、快速的效果。

由于历史原因及当时的技术条件限制，上述数据系统多是独立建设并自成系统。在便捷化、信息化的大趋势下，这些数量众多的数据系统存在的问题也逐渐凸显出来，主要有如下两个方面：1、各数据源独立，无统一标准，很难通过统一的接口进行数据查询；2、各应用系统基于不同数据源建立，由于数据源间的标准不统一，无法实现系统之间的数据共享、连接和融合查询。基于以上的情况，建立一套融合数据查询接口，用于所有数据源的规范化查询，就成为了一个紧迫的任务。

发明内容

本发明所要解决的技术问题在于，提供一种基于异构数据源和分布式文件系统的融合查询方法，能够方便的进行结构化数据库查询。

为解决上述技术问题，本发明提供一种基于异构数据源和分布式文件系统的融合查询方法，包括如下步骤：

(1)用户向系统发起查询请求；系统包括处理节点、源数据节点和维护节点；

(2)处理节点接收用户的请求，分析请求生成语法执行树；

(3)处理节点和源数据节点交互，获取各个表的源数据信息，并根据源数据类型的不同进行任务的下发；

(4)目标数据源根据请求进行数据提取和分析，并返回筛选后的数据；

(5)处理节点对返回的数据进行传输、聚合和连接操作，将处理后的结果返回给用户。

优选的，步骤(1)中，源数据节点存放源数据信息，并对源数据进行缓存操作；维护节点监控源数据节点和处理节点的健康状态，如果运行过程中某一个节点发生异常情况，则对异常情况作出处理；处理节点接收用户请求，并与源数据节点交互获取源数据信息，根据请求分析的结果进行任务分发、数据接收、传输、聚合操作。

优选的，步骤(1)中，查询请求包括特定数据库表查询，分布式文件数据查询和异构数据源数据联合查询。

本发明的有益效果为：用户可以方便的进行异构数据源SQL查询，例如使用专门的驱动程序，查询不同的数据源如mysql、oracle、sqlserver和Elastic Search等；用户可以利用分布式查询技术，实现分布式文件系统和异构数据源间的融合查询，如连接操作、子查询等。

附图说明

图1是本发明的结构示意图。

图2是本发明的方法流程示意图。

具体实施方式

下文将参考附图并结合具体实施例对本发明进行详细说明。

图1是根据本发明实施的异构数据源和分布式文件系统的融合查询方法的结构示意图。其中包含处理节点、源数据节点和维护节点三个基本逻辑模块。

源数据节点负责存放源数据信息，如hdfs文件块位置和结构化数据库信息等，并对源数据进行缓存操作。

维护节点负责监控源数据节点和处理节点的健康状态，如果运行过程中，某一个节点发生异常情况，系统对这种异常情况作出处理。

处理节点负责接收用户请求，并与源数据节点交互获取源数据信息。根据请求分析的结果进行任务分发，数据接收，传输，聚合等操作。

图2是根据本发明实施的结构化数据库和分布式文件系统的融合查询方法的流程示意图。下面介绍具体的步骤：

(1)用户发起查询请求，含特定数据库表查询，分布式文件数据查询，异构数据源数据联合查询等。

(2)处理节点接收请求，并提交内部系统。

(3)处理节点分析请求，并生成语法执行树。

(4)处理节点和源数据节点交互，获取各个表的源数据信息。并根据源数据类型的不同，进行任务下发。

(5)目标数据源根据请求进行数据提取、分析，并返回筛选后的数据。

(6)处理节点对返回的数据进行传输，聚合，连接操作。

(7)处理节点将处理后的结果返回给用户。