[发明专利]数据倾斜抓取方法、装置、计算机设备及存储介质

摘要

本申请实施例属于人工智能领域，涉及一种数据倾斜抓取方法，包括调用预设接口服务，基于预设接口服务获取初始数据信息；获取目标字段信息，根据目标字段信息对初始数据信息进行分类，得到不同类别的执行任务；统计执行任务中每个最小运行单位的运行数据，基于运行数据检测每个最小运行单位的执行状态；获取执行状态对应的状态标识，在状态标识为目标标识时，确定目标标识对应的执行任务存在数据倾斜。本申请还提供一种数据倾斜抓取装置、计算机设备及存储介质。本申请实现了对数据倾斜的自动高效定位抓取，使得能够对不同的作业质量进行快速识别，降低了机器节点承受网络流量和计算压力，能够为集群进行高效减负。