[发明专利]关系型数据库数据分析能力扩展方法、系统及电子设备

说明书

本发明属于数据库扩展技术领域，特别涉及一种关系型数据库数据分析能力扩展方法、系统以及电子设备，与分布式数据库针对传统关系型数据库的存储能力进行扩容不同，本发明主要用于扩展传统关系型数据库的数据分析能力；且不同SQL‑on‑Hadoop系统需要开发一个全新的SQL查询引擎，本发明建立于传统关系型数据库的基础上，使用数据库自带的SQL查询引擎进行数据查询，维护了传统关系型数据库易操作的优势。本发明借助于大数据分析平台进行传统关系型数据库中大规模结构化数据的复杂数据分析，并实现数据存储和数据分析模型分离，扩展后的系统高度松耦合，有利于开发者进行二次扩展。

技术领域

本发明属于数据库扩展技术领域，具体涉及一种关系型数据库数据分析能力扩展方法、系统以及电子设备。

背景技术

随着信息科技的快速发展，在科学研究、互联网应用等诸多应用领域，由于数据的快速增长，以及越来越多复杂的数据分析算法被用于挖掘数据中蕴含的科研价值和商业价值，新兴的大数据平台应运而生，传统的关系型数据库在大数据分析性能上已落后于这些专门用于大数据分析的大数据平台。但是关系型数据库作为较早提出的数据存储系统，发展成熟、操作方便、而且易于维护，在数据的增长过程中形成了强大的生态系统，而大数据分析平台不仅要求用户掌握相关的平台使用技能，且不兼容以关系型数据库为存储模块的系统。

目前对于关系型数据库数据分析能力的扩展，主要有两种解决方案：一种是通过分布式数据库扩展关系型数据库本身的计算能力，如MPP数据库；另一种是在大数据分析平台上建立SQL查询解析引擎。分布式数据库采用无共享资源结构对传统关系型数据库的存储能力进行横向扩容，并提供并行计算，令数据库加速进行数据分析。SQL-on-Hadoop方案是基于大数据分析平台Hadoop进行的SQL引擎开发。随着大数据所蕴含的知识在各个领域发挥着重要的作用，Hadoop广泛地应用于各个领域，SQL-on-Hadoop系统同时引入SQL查询引擎解决了Hadoop平台进行数据分析时操作复杂，交互性差的问题。

并且，MPP数据库的扩展具有一定的局限性。在MPP数据库，若要找到处理某一数据行的相应机器，需每次调用Hash函数进行计算，增加系统的性能压力；只对任务处理的数据集进行分割，未对任务进行分割，每个节点都必须完整地执行一遍任务；造成大量的冗余文件；点对点的连接导致在处理节点过多的情况下，节点间的平均带宽较低，数据传输时间过长。

随着Hadoop平台的发展，出现了越来越多的SQL-on-Hadoop系统，但都具有一定的局限性。如Hive所有查询均需要转换为MapReduce操作，效率不高；如Impala从非结构化数据到结构化数据的ETL工作比较麻烦；如ApacheHAQW适合于处理HDFS文件系统中的文件数据，对于外部数据源失去优势；如Spark SQL的元数据存在于内存中，不适合作为数据仓库的组件。

发明内容

针对以上问题，本发明旨在提供一种针对传统关系型数据库的存储能力、数据分析能力的扩展方法、系统以及电子设备。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种关系型数据库数据分析能力扩展方法，该方法应用于：用于数据存储的关系型数据库、用于数据分析的大数据分析平台以及用于在关系型数据库和大数据分析平台之间建立通信的中间模块，该方法包括如下步骤：

S1、所述中间模块通过通信协议建立关系型数据库与大数据分析平台之间的通信连接；

S2、在关系型数据库中启动扩展分析查询，并输入查询分析命令；

S3、所述中间模块接收查询分析命令，根据通信协议将查询分析命令转换为查询分析命令消息；

S4、所述大数据分析平台接收并解析查询分析命令消息，得到并执行数据分析操作命令；并通过中间模块向关系型数据库返回数据分析结果。