[发明专利]数据处理方法及装置

权利要求书

1.一种数据处理方法，其特征在于，包括：

接收用户经由数据中心发出的数据清洗任务；

获取所述数据清洗任务对应的数据来源信息和数据输出信息，所述数据来源信息及数据输出信息为数据的存储信息，所述数据的存储信息为数据库的数据表信息或kafka的主题信息；

基于预设的表创建语法，对所述数据来源信息对应的数据流及所述数据输出信息对应的数据流进行处理，获得所述数据来源信息对应的第一数据流和所述数据输出信息对应的第二数据流；

获取所述用户预先提交的数据清洗FLink SQL脚本，并应用所述FLink SQL脚本对所述第一数据流，和所述第二数据流进行数据清洗；

启用预设的任务监控模块对数据清洗过程进行实时监控，确定所述数据清洗任务是否存在任务积压；

当所述数据清洗任务不存在任务积压时，获取数据清洗后的清洗结果，并确定所述清洗结果是否满足预设的清洗条件；

当所述清洗结果满足所述清洗条件时，将所述清洗结果发送至预先设置的Flink集群，并通过所述Flink集群存储并输出所述清洗结果。

2.根据权利要求1所述的方法，其特征在于，所述获取所述数据清洗任务对应的数据来源信息和数据输出信息，包括：

连接所述数据中心的数据库；

获取所述数据库中所述数据清洗任务对应的任务标识码；

基于所述任务标识码提取所述数据库中所述数据清洗任务对应的任务包；

解析所述任务包，获取所述任务包中所述数据清洗任务对应的数据来源信息和数据输出信息。

3.根据权利要求1所述的方法，其特征在于，所述启用预设的任务监控模块对数据清洗过程进行实时监控，确定所述数据清洗任务是否存在任务积压，包括：

启动预先设置的Kafka消费组水位逻辑模块；

应用所述Kafka消费组水位逻辑模块，实时记录所述FLink SQL脚本每次消费所述第一数据流和所述第二数据流进行数据清洗的消费延迟信息；

判断当前记录的消费延迟信息是否超出预设的阈值；

若所述当前记录的消费延迟信息未超出所述阈值，则确定所述数据清洗任务不存在任务积压；

若所述当前记录的续爱费延迟时间超出所述阈值，则确定所述数据清洗任务存在任务积压。

4.根据权利要求1或3所述的方法，其特征在于，还包括：

当所述数据清洗任务存在任务积压时，启动所述用户预先设置的预警通信模块，并应用所述预警通信模块进行预警通知。

5.根据权利要求1所述的方法，其特征在于，还包括：

当所述清洗结果不满足所述清洗条件时，停止对所述第一数据流和所述第二数据流的数据清洗过程，并向所述用户反馈所述清洗结果；

当接收到所述用户基于所述清洗结果重新上传新的FLink SQL脚本时，应用所述FLinkSQL脚本重新对所述第一数据流和所述第二数据流进行数据清洗。

6.一种数据处理装置，其特征在于，包括：

接收单元，用于接收用户经由数据中心发出的数据清洗任务；

第一获取单元，用于获取所述数据清洗任务对应的数据来源信息和数据输出信息，所述数据来源信息及数据输出信息为数据的存储信息，所述数据的存储信息为数据库的数据表信息或kafka的主题信息；

处理单元，用于基于预设的表创建语法，对所述数据来源信息对应的数据流及所述数据输出信息对应的数据流进行处理，获得所述数据来源信息对应的第一数据流和所述数据输出信息对应的第二数据流；

数据清洗单元，用于获取所述用户预先提交的数据清洗FLink SQL脚本，并应用所述FLink SQL脚本对所述第一数据流，和所述第二数据流进行数据清洗；

监控单元，用于启用预设的任务监控模块对数据清洗过程进行实时监控，确定所述数据清洗任务是否存在任务积压；

第二获取单元，用于当所述数据清洗任务不存在任务积压时，获取数据清洗后的清洗结果，并确定所述清洗结果是否满足预设的清洗条件；

处理结束单元，用于当所述清洗结果满足所述清洗条件时，将所述清洗结果发送至预先设置的Flink集群，并通过所述Flink集群存储并输出所述清洗结果。