[发明专利]一种基于FlinkSQL与达梦的实时数仓方法

权利要求书

1.一种基于FlinkSQL与达梦的实时数仓方法，其特征在于，包括：

基于下载的flink-connector-jdbc源码，新增达梦JDBC方言类，并继承AbstractDialect抽象类；

基于继承的AbstractDialect抽象类，配置目标连接器，其中所述目标连接器中包括连接达梦MPP的多个方法；

基于配置后的目标连接器，新增达梦RowConverter，继承AbstractJdbcRowConverter接口，以实现达梦MPP与FlinkSQL的数据转换。

2.如权利要求1所述的基于FlinkSQL与达梦的实时数仓方法，其特征在于，配置目标连接器包括如下定义步骤：

配置canHandle方法，以标记达梦jdbc连接格式；

配置getRowConverter方法，以自定义的达梦数据转换器，将数据库数据信息转换成flink数据类型；

配置defaultDriverName方法，以定义连接达梦MPP使用的jdbc连接驱动。

3.如权利要求2所述的基于FlinkSQL与达梦的实时数仓方法，其特征在于，配置目标连接器还包括如下封装步骤：

配置getInsertIntoStatement方法，封装达梦MPP插入数据SQL语句，将写入的表和数据字段，转换成为达梦MPP支持的Insert语法；

配置getDeleteStatement方法，封装达梦MPP删除数据SQL语句，将删除的表名和条件字段，转换成为达梦MPP支持的Delete语法；

配置getUpsertStatement方法，封装达梦MPP Upsert模式SQL语句，将flink需要更新的表与字段，转换成达梦MPP的MERGE INTO语法；

配置getRowExistsStatement方法，封装达梦MPP校验数据是否存在语句；

配置getUpdateStatement方法，封装达梦MPP更新数据SQL语句，将删除的表名、字段名、条件字段，转换成为达梦MPP支持的UPDATE语法；

配置getSelectFromStatement方法，封装达梦Select模式SQL语句，将查询的表名、查询字段、条件字段，转换成为达梦的select语法。

4.如权利要求3所述的基于FlinkSQL与达梦的实时数仓方法，其特征在于，配置目标连接器还包括设置步骤：

配置dialectName方法，设置达梦的方言标识为DM；

配置unsupportedTypes方法，设置达梦MPP不支持Flink数据类型。

5.如权利要求1所述的基于FlinkSQL与达梦的实时数仓方法，其特征在于，还包括如下数据写入验证步骤：

编译构建flink-connector-jdbc项目代码，形成目标数据包；

准备Kafka数据源，增加测试数据；

使用IDE构建FlinkApp，引入所述目标数据包；

编写Flink程序，Source使用kafka数据源，Sink端选择达梦jdbc；

写入所述目标数据包。

6.如权利要求5所述的基于FlinkSQL与达梦的实时数仓方法，其特征在于，所形成的目标数据包的版本与使用IDE构建FlinkApp的版本对应。

7.一种终端设备，其特征在于，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的基于FlinkSQL与达梦的实时数仓方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的基于FlinkSQL与达梦的实时数仓方法的步骤。