[发明专利]数据倾斜处理方法、装置、电子设备及可读存储介质

说明书

本发明涉及大数据，揭露一种数据倾斜处理方法，包括：对任务标识对应的运行脚本执行异常识别得到第一识别结果，判断运行脚本中是否存在第一异常语句；当运行脚本中不存在第一异常语句时，每隔预设时间，读取任务标识对应的运行日志，对运行日志执行倾斜识别得到第二识别结果，判断任务标识对应的任务是否发生了数据倾斜事件；当发生了数据倾斜事件时，根据运行日志及运行脚本确定运行脚本中导致数据倾斜事件的第二异常语句，修正第二异常语句，完成数据倾斜事件的处理。本发明还涉及区块链技术，运行日志及运行脚本存储于区块链中。本发明还提供一种数据倾斜处理装置、电子设备及计算机可读存储介质。本发明可提高任务执行效率。

技术领域

本发明涉及大数据处理，尤其涉及一种数据倾斜处理方法、装置、电子设备及可读存储介质。

背景技术

随着互联网技术的发展，面对日益增长的海量数据，MapReduce应运而生。MapReduce是一种编程模型，可将待运算任务通过映射(Map)和归约(Reduce)两个函数分成多个小任务来并行运算，其可在集群节点上自动分配和执行任务并收集计算结果，极大的方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。

然而当任务对应的数据量巨大，且数据分布不均匀时，容易出现数据倾斜的情况，表现为大部分节点已完成任务，有一个或几个节点运行缓慢，使得运行脚本执行时间过长，此时任务仍然为运行状态，前端不会显示异常，需要人员定时查看任务进程才能发现问题，容易出现不能及时发现数据倾斜的情况，且发生数据倾斜时，经验不足的开发人员还需要花费大量时间去分析异常原因，从而使得任务执行效率较低。因此，亟需一种数据倾斜处理方法，以提高任务执行效率。

发明内容

鉴于以上内容，有必要提供一种数据倾斜处理方法，旨在提高任务执行效率。

本发明提供的数据倾斜处理方法，包括：

响应客户端发出的携带任务标识的数据倾斜处理请求，从预设存储地址获取所述任务标识对应的运行脚本；

对所述运行脚本执行异常识别得到第一识别结果，基于所述第一识别结果判断所述运行脚本中是否存在第一异常语句；

当所述运行脚本中不存在所述第一异常语句时，每隔预设时间，读取所述任务标识对应的运行日志，对所述运行日志执行倾斜识别得到第二识别结果，基于所述第二识别结果判断所述任务标识对应的任务是否发生了数据倾斜事件；

当发生了数据倾斜事件时，根据所述运行日志及所述运行脚本确定所述数据倾斜事件对应的目标操作事件；

根据所述目标操作事件确定所述运行脚本中导致数据倾斜事件的第二异常语句，修正所述第二异常语句，完成所述数据倾斜事件的处理。

可选的，所述对所述运行脚本执行异常识别得到第一识别结果，基于所述第一识别结果判断所述运行脚本中是否存在第一异常语句包括：

获取所述数据倾斜处理请求对应的多个关键词组合；

判断所述多个关键词组合中每个关键词组合中各个关键词在所述运行脚本中的数量是否相同；

若所述多个关键词组合中某一指定关键词组合中各个关键词在所述运行脚本中的数量不同，则将所述运行脚本中组成所述指定关键词组合的语句作为第一异常语句。

可选的，所述对所述运行日志执行倾斜识别得到第二识别结果，基于所述第二识别结果判断所述任务标识对应的任务是否发生了数据倾斜事件包括：

获取所述数据倾斜处理请求对应的多个关键语句；

获取所述运行日志中各个关键语句对应的运行起始时间及运行结束时间，计算所述各个关键语句对应的运行持续时间；

若所述运行持续时间大于预设阈值，则认为所述任务发生了数据倾斜事件。