[发明专利]一种基于FlinkSQL与达梦的实时数仓方法

说明书

本发明公开了一种基于FlinkSQL与达梦的实时数仓方法，包括：基于下载的flink‑connector‑jdbc源码，新增达梦JDBC方言类，并继承AbstractDialect抽象类；基于继承的AbstractDialect抽象类，配置目标连接器，其中所述目标连接器中包括连接达梦MPP的多个方法；基于配置后的目标连接器，新增达梦RowConverter，继承AbstractJdbcRowConverter接口，以实现达梦MPP与FlinkSQL的数据转换。本发明实施例通过基于继承的AbstractDialect抽象类，配置目标连接器，其中所述目标连接器中包括连接达梦MPP的多个方法；基于配置后的目标连接器，新增达梦RowConverter，继承AbstractJdbcRowConverter接口，由此实现了接入数据到达梦MPP，完成数据治理工作。

技术领域

本发明涉及数据库技术领域，尤其涉及一种基于FlinkSQL与达梦的实时数仓方法。

背景技术

数据仓库是伴随着企业信息化发展起来的，在企业信息化的过程中，随着信息化工具的升级和新工具的应用，数据量变得越来越大，数据实时性要求越来越高。传统离线数仓的数据治理流程已经越难满足企业发展需求。建设实时数仓已经成为企业迫在眉睫的紧要任务。

实时数仓的整个核心模块是计算引擎以及存储引擎，计算引擎目前以Flink为主，存储引擎有Hbase、ClickHourse等开源解决方案。但是面对信创业务，要求自主可控等建设要求下。目前实时数仓的建设方案出现不足。

发明内容

本发明实施例提供一种基于FlinkSQL与达梦的实时数仓方法，用以接入数据到达梦MPP，完成数据治理工作，支持FlinkSQL高级语言，减少治理人员成本。

本发明实施例提供一种基于FlinkSQL与达梦的实时数仓方法，包括：

基于下载的flink-connector-jdbc源码，新增达梦JDBC方言类，并继承AbstractDialect抽象类；

基于继承的AbstractDialect抽象类，配置目标连接器，其中所述目标连接器中包括连接达梦MPP的多个方法；

基于配置后的目标连接器，新增达梦RowConverter，继承AbstractJdbcRowConverter接口，以实现达梦MPP与FlinkSQL的数据转换。

可选的，配置目标连接器包括如下定义步骤：

配置canHandle方法，以标记达梦jdbc连接格式；

配置getRowConverter方法，以自定义的达梦数据转换器，将数据库数据信息转换成flink数据类型；

配置defaultDriverName方法，以定义连接达梦MPP使用的jdbc连接驱动。

可选的，配置目标连接器还包括如下封装步骤：

配置getInsertIntoStatement方法，封装达梦MPP插入数据SQL语句，将写入的表和数据字段，转换成为达梦MPP支持的Insert语法；

配置getDeleteStatement方法，封装达梦MPP删除数据SQL语句，将删除的表名和条件字段，转换成为达梦MPP支持的Delete语法；

配置getUpsertStatement方法，封装达梦MPP Upsert模式SQL语句，将flink需要更新的表与字段，转换成达梦MPP的MERGE INTO语法；

配置getRowExistsStatement方法，封装达梦MPP校验数据是否存在语句；