[发明专利]一种基于Flink SQL的数据处理方法、装置、存储介质

说明书

本发明提供了一种基于Flink SQL的数据处理方法装置、存储介质，该方法包括：获取数据源中的待处理的数据并发送至SQL任务提交平台；在SQL任务提交平台中编写SQL语句对数据进行标准化的映射，并在SQL语句中定义数据源表、数据目标表，并为数据选择udf函数；SQL任务提交平台将编写好的SQL语句提交至Flink集群，Flink集群对所述SQL语句进行解析获得UDF函数、数据源表和数据目标表，所述Flink集群基于UDF函数、数据源表和数据目标表进行数据处理，并将处理后的数据输出。本发明提出了风格统一的SQL任务提交平台，使用语法简洁、易学易用的SQL语句来完成数据处理过程中的数据清洗等处理，方便非专业的工作人员进行数据处理，提高了用户体验。

技术领域

本发明涉及数据库处理技术领域，一种基于Flink SQL的数据处理方法、装置、存储介质。

背景技术

大数据系统中的数据通常具有一个或多个数据源，这些数据源可以包括同构/异构的(大)数据库、文件系统、服务接口等。这些数据源中的数据来源现实世界，容易受到噪声数据、数据值缺失与数据冲突等的影响。

数据治理、分析、可视化过程中的算法与实现技术复杂多样，往往需要对数据的组织、数据的表达形式、数据的位置等进行一系列前置处理。这就对研发提出了较高的要求，不仅需要了解业务、数据标准、较高的代码水平，而现实中研发的能力往往参差不齐，这就造就了数据治理质量有好有坏。而数据治理的好坏直接影响到整套系统的可用性、准确性、完整性、时效性、可信性与可解释性等。

可见，在现有技术中，多源数据处理的效率较低、准确性差，且界面不够友好，不方便工作人员进行多源数据的处理。

发明内容

本发明针对上述现有技术中的缺陷，提出了如下技术方案。

一种基于Flink SQL的数据处理方法，该方法包括：

获取步骤，获取数据源中的待处理的数据并发送至SQL任务提交平台；

编写步骤，在SQL任务提交平台中编写SQL语句对数据进行标准化的映射，并在SQL语句中定义数据源表、数据目标表，并为数据选择udf函数；

处理步骤，SQL任务提交平台将编写好的SQL语句提交至Flink集群，Flink集群对所述SQL语句进行解析获得UDF函数、数据源表和数据目标表，所述Flink集群基于UDF函数、数据源表和数据目标表进行数据处理，并将处理后的数据输出。

更进一步地，所述数据源为分布式发布订阅消息系统Kafka。

更进一步地，所述SQL任务提交平台还用于：

查看所述Kafka上汇集的实时推送和离线推送的数据并计算某个范围内数据的空值率及校验数据的准确率；

在编写的SQL语句中定义SQL任务的并行度、检查点及备份点；

以及用于查看SQL任务的执行情况、执行统计和取消SQL任务。

更进一步地，所述Flink集群对所述SQL语句进行解析的操作为：所述Flink集群采用apache calcite解析SQL语句，通过SQL Parser解析SQL语句，并基于正则表达式判定SQL语句的类型，并通过JavaCC将SQL语句解析成AST语法树SqlNode，并且结合元数据验证SQL语句是否符合规范；通过对解析出来的语法树SqlNode再进行解析获得udf函数、数据源表和数据目标表的集合。