[发明专利]一种基于Flink SQL的数据处理方法、装置、存储介质

权利要求书

1.一种基于Flink SQL的数据处理方法，其特征在于，该方法包括：

获取步骤，获取数据源中的待处理的数据并发送至SQL任务提交平台；

编写步骤，在SQL任务提交平台中编写SQL语句对数据进行标准化的映射，并在SQL语句中定义数据源表、数据目标表，并为数据选择udf函数；

处理步骤，SQL任务提交平台将编写好的SQL语句提交至Flink集群，Flink集群对所述SQL语句进行解析获得UDF函数、数据源表和数据目标表，所述Flink集群基于UDF函数、数据源表和数据目标表进行数据处理，并将处理后的数据输出。

2.根据权利要求1所述的方法，其特征在于，所述数据源为分布式发布订阅消息系统Kafka。

3.根据权利要求1或2所述的方法，其特征在于，所述SQL任务提交平台还用于：

查看所述Kafka上汇集的实时推送和离线推送的数据并计算某个范围内数据的空值率及校验数据的准确率；

在编写的SQL语句中定义SQL任务的并行度、检查点及备份点；

以及用于查看SQL任务的执行情况、执行统计和取消SQL任务。

4.根据权利要求3所述的方法，其特征在于，所述Flink集群对所述SQL语句进行解析的操作为：所述Flink集群采用apache calcite解析SQL语句，通过SQL Parser解析SQL语句，并基于正则表达式判定SQL语句的类型，并通过JavaCC将SQL语句解析成AST语法树SqlNode，并且结合元数据验证SQL语句是否符合规范；通过对解析出来的语法树SqlNode再进行解析获得udf函数、数据源表和数据目标表的集合。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述Flink集群基于UDF函数、数据源表和数据目标表进行数据处理的操作为：对获得的udf函数集合进行遍历，通过class.forName方法动态加载class对象注册到flink Table Environment，使用ScalarFunctions对字段进行数据清洗、数据校验、数据去重、数据归一化、数据比对和数据标识；对获得的源表集合进行遍历，然后根据解析出来的field字段和type类型转换成flinkTable可识别的InternalType类型然后注册到flink Table Environment，通过flinkTable Environment执行sqlQuery获得Flink Table结果集，通过flink TableEnvironment将Flink Table结果集转换成Flink DataStream。

6.一种基于Flink SQL的数据处理装置，其特征在于，该装置包括：

获取单元，获取数据源中的待处理的数据并发送至SQL任务提交平台；

编写单元，在SQL任务提交平台中编写SQL语句对数据进行标准化的映射，并在SQL语句中定义数据源表、数据目标表，并为数据选择udf函数；

处理单元，SQL任务提交平台将编写好的SQL语句提交至Flink集群，Flink集群对所述SQL语句进行解析获得UDF函数、数据源表和数据目标表，所述Flink集群基于UDF函数、数据源表和数据目标表进行数据处理，并将处理后的数据输出。

7.根据权利要求6所述的装置，其特征在于，所述数据源为分布式发布订阅消息系统Kafka。

8.根据权利要求6或7所述的装置，其特征在于，所述SQL任务提交平台还用于：

查看所述Kafka上汇集的实时推送和离线推送的数据并计算某个范围内数据的空值率及校验数据的准确率；

在编写的SQL语句中定义SQL任务的并行度、检查点及备份点；

以及用于查看SQL任务的执行情况、执行统计和取消SQL任务。