[发明专利]一种把传统数据库脚本批量转换上云的大数据系统和方法

说明书

本发明公开了一种把传统数据库脚本批量转换上云的大数据系统和方法，该系统包括：语法解析器模块、异构数据库之间转换映射模块及脚本转换模块。有益效果：本发明快速精准将需要转化的业务SQL识别和提取，按照需要上云转化识别的语法，对SQL进行语法重构转换，成功率达96.7%以上，语义提取识别和语法转化准确率达85.4%以上。

技术领域

本发明涉及大数据产品领域，具体来说，涉及一种把传统数据库脚本批量转换上云的大数据系统和方法。

背景技术

信息技术的飞速发展，推动着IT技术的各个方面发生变革。近几年，IT领域正加速步入云计算时代。云计算的提出引发了新的计算变革，催生出新的IT服务模式，进而使工作方式和商业模式发生了根本性改变。追根溯源，云计算与并行计算、分布式计算和网格计算不无关系，更是虚拟化、效用计算、SaaS（Software-as-a-Service，软件即服务）、SOA（面向服务的体系结构，是一个组件模型）等技术混合演进的结果。通过与相关技术、商业模式、创新要素形成的有机互动，云计算已经成为信息产业实现跨越式发展的重要驱动力。

对企业而言，数据中心的各种系统（包括软硬件与基础设施）是一大笔资源投入。一方面，新系统（主要指硬件部分）一般经过3-5年即面临逐步老化与淘汰，软件则面临不断升级的压力；另一方面，IT的投入难以跟上业务发展的步伐，即使利用虚拟化技术，也解决不了不断增加的业务对资源的变化需求，一定时期内扩展性总是有所限制。于是，企业产生了新的需求：IT资源能够弹性扩展、按需服务，将服务作为IT的核心，提升业务敏捷性，从而大幅降低成本。因此，面向服务的IT需求开始演化到云计算架构上。

另外，现代企业有一个关键的生产资料和要素，那就是数据。数据已经成为企业的核心资产，而对数据的使用和挖掘能力也日益成为企业的核心竞争力。利用云计算技术与服务能够更方便地收集、计算、挖掘数据，使那些不具备大数据基础设施的企业也能享受到大数据带来的红利。

原来传统的关系型数据库通过存储过程等脚本计算加工数据，实现相关ETL（数据仓库技术）功能，数据上云后，相关的计算加工逻辑ETL功能需要迁移上云，原有的存储过程等脚本是经过日积月累长期沉淀的业务逻辑结果，如果通过人工方式进行迁移上云，会存在大量的异构数据库语法、函数及关键字等差异造成的人工转换工作量，同时这些工作可能是一些重复低效的工作。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的问题，本发明提出一种把传统数据库脚本批量转换上云的大数据系统和方法，以克服现有相关技术所存在的上述技术问题。

为此，本发明采用的具体技术方案如下：

根据本发明的一个方面，提供了一种把传统数据库脚本批量转换上云的大数据系统，该系统包括：语法解析器模块、异构数据库之间转换映射模块及脚本转换模块；

其中，所述语法解析器模块，用于根据不同的关系型数据库对相关上云转换识别语法及代码规范定义进行配置，且产品根据不同的项目现场通过配置的关键字对相关的关系型数据库转换的结构化查询语言进行识别和提取，同时结合不同目标库转换的语法进行转换重构；

所述异构数据库之间转换映射模块，用于根据不同的数据库相关的函数，对关键字的区别差异进行梳理并配置成模板，同时通过模板选择实现相关语法的转换；

所述脚本转换模块，用于支持不同格式的代码转换输出，并通过模板方式选择，实现不同格式的脚本转换；

其中，所述异构数据库之间转换映射模块转换映射时，包括函数、语法及关键字转换映射。

进一步的，所述语法解析器模块包括加载脚本模块、分析语句单词模块及脚本拆分模块；

其中，所述加载脚本模块，用于针对加载的结构化查询语言脚本，通过JSON进行匹配；