[发明专利]可视化多数据库ETL集成方法和系统

说明书

本发明提供了可视化多数据库ETL集成方法和系统，方法包括以下步骤：连接源数据库和目标数据库；通过源数据库和目标数据库的ETL匹配，得到源数据库的源表的SQL语句；对SQL语句进行优化并执行、得到多个源数据库的ETL数据并注入到目标数据库的目标表。系统包括数据库管理系统层：连接源数据库和目标数据库；通过源数据库和目标数据库的ETL匹配，得到源数据库的源表的SQL语句；语义层：对SQL语句进行优化并执行、得到多个源数据库的ETL数据并注入到目标数据库的目标表。本发明降低多数据库集成的复杂程度，提高数据库集成的效率，降低数据库集成的风险。

技术领域

本发明涉及数据库集成开发与数据库运行优化领域，是一套通过图形化界面配置实现多种数据库集成，数据抽取与注入的集成方法和系统。

背景技术

随着信息技术的飞速发展，数据库应用越来越广泛，由于部门业务和功能归属不同，各应用系统开发时采用了不同的数据库环境，给实际应用带来很大困难，多数据库的集成应用技术一直是一项难题，多数据应用技术包括了对软件系统集成应用、数据库的可视化问题、数据的分析算法等。目前，关于数据库集成方法虽然存在，但是一方面是这类方法的集成化程度不高，经过集成之后进行数据库查询效率低；另外是这类方法的灵活性差，配置起来比较繁琐，如果遇到设计的数据表与字段比较复杂和繁多的情况时，不仅需要大量的时间配置，而且也容易出错。

目前来说，存在的主要困难是多数据库的集成、数据迁移过程优化问题、不同数据库集成的效率问题。由于架构不同，多数据库集成需要多种技术支持；数据迁移过程受数据量级影响，大量的数据迁移会造成数据库运行效率降低，影响数据库的使用；客户端的多样性会影响集成效率，客户端与客户端之间、客户端与数据库端存在多通道传输，会造成传输效率低下。

发明内容

本发明的目的是提供一套可视化多数据ETL集成方法。本发明为实现上述目的所采用的技术方案是：

可视化多数据库ETL集成方法，包括以下步骤：

连接源数据库和目标数据库；通过源数据库和目标数据库的ETL匹配，得到源数据库的源表的SQL语句；

对SQL语句进行优化并执行、得到多个源数据库的ETL数据并注入到目标数据库的目标表。

所述通过源数据库和目标数据库的ETL匹配，得到源数据库的源表的SQL语句包括以下步骤：

配置源数据库和目标数据库及表名、字段，并判断源数据库和目标数据库的数据库类型；

根据源数据库和目标数据库的数据库类型确定不同的ETL规则类，再根据源数据库的源表通过ETL规则类得到源表的SQL语句；

所述对SQL语句进行优化并执行、得到多个源数据库的ETL数据并注入到目标数据库的目标表包括以下步骤：

处理SQL语句并根据ETL规则库匹配的结果对SQL语句进行优化；

调用平台层提供的API，执行优化后的SQL语句得到ETL数据并存入数据缓冲区，根据ETL规则库将ETL数据注入目标库的目标表。

所述处理SQL语句并根据ETL规则库匹配的结果对SQL语句进行优化包括以下步骤：

将SQL语句建立一个树结构；对树结构的每一节点进行语义检查，并进行结构转换，将分析树转换为表示最初的查询计划的代数操作符树；将代数操作符树转换为执行速度最快的SQL序列。

可视化多数据库ETL集成系统，包括：

数据库管理系统层：连接源数据库和目标数据库；通过源数据库和目标数据库的ETL匹配，得到源数据库的源表的SQL语句；

语义层：对SQL语句进行优化并执行、得到多个源数据库的ETL数据并注入到目标数据库的目标表。