[发明专利]数据依赖判断方法、装置、计算机设备及存储介质

说明书

本申请实施例属于大数据领域，涉及一种数据依赖判断方法，包括获取数据库中数据表之间传递的批处理作业和所述批处理作业的依赖关系，将所述批处理作业按照所述依赖关系进行分组；根据所述分组构建所述批处理作业的连通图；确定所述连通图中是否存在强连通分量，并在确定所述连通图中存在所述强连通分量时，确认所述数据库中存在数据依赖循环。本申请还提供一种数据依赖判断装置、计算机设备及存储介质。此外，本申请还涉及区块链技术，所述连通图可存储于区块链中。本申请提高数据依赖判断效率和准确率。

技术领域

本申请涉及大数据技术领域，尤其涉及一种数据依赖判断方法、装置、计算机设备及存储介质。

背景技术

数据库往往包含了数量繁多的批处理作业任务，这些任务有各种不同的启动机制。而且批处理作业任务之间的表调用无可避免。如批作业任务P1生成了一张数据表T1，批作业任务P2如果要使用数据表T1中的数据，就必须等待P1运行结束，才能启动P2，否则供P2计算的数据基础T1不完整，P2的计算结果可能出错。

在实际场景中，P1的结果表可能有N1个，P2的基础表可能有N2个。此时整个数据库中，所有批作业任务的依赖关系就成为了一个复杂的网状图。此时可能出现一种死锁情况：P1需要P2的结果表T2作为计算基础，P2需要P1的结果表T1作为计算基础，两张表会互相等待，形成一个死锁的依赖环。

当前一般的管理办法主要依靠手工登记批处理作业，而后通过人工地判断是否存在死锁的行为。如果是紧密相连的P1和P2发生这种情况，人工还比较好判断，但是如果P1和P2之间还有多个批处理作业的依赖传递，则人工判断的效率和准确度都很低。

发明内容

本申请实施例的目的在于提出一种数据依赖判断方法、装置、计算机设备及存储介质，以解决数据依赖判断效率低下的技术问题。

为了解决上述技术问题，本申请实施例提供一种数据依赖判断方法，采用了如下所述的技术方案：

获取数据库中数据表之间传递的批处理作业和所述批处理作业的依赖关系，将所述批处理作业按照所述依赖关系进行分组；

根据所述分组构建所述批处理作业的连通图；

确定所述连通图中是否存在强连通分量，并在确定所述连通图中存在所述强连通分量时，确认所述数据库中存在数据依赖循环。

进一步的，所述将所述批处理作业按照所述依赖关系进行分组包括：

获取所述数据库中作业点集合，并构建目标作业组和确认组；

从所述作业点集合中任意选取节点为作业点，并根据所述依赖关系获取与所述作业点关联的所有关联点，其中，一个所述批处理作业为所述作业点集合中的一个节点；

根据所述目标作业组和所述确认组对所述作业点和所述关联点进行分组。

进一步的，所述根据所述目标作业组和所述确认组对所述作业点和所述关联点进行分组包括：

从所述作业点集合中任意选取节点为第一作业点，获取与所述第一作业点关联的所有第一关联点，将所述第一作业点和所述第一关联点放入至所述目标作业组中；

从所述作业点集合中删除所述第一作业点和所述第一关联点，并将所述第一作业点放入至所述确认组中；

从所述目标作业组中选取任意节点为第二作业点，确定所述第二作业点是否在所述确认组中，在所述第二作业点不在所述确认组中时，从所述作业点集合中获取与所述第二作业点关联的所有第二关联点，并将所述第二关联点放入至所述目标作业组中；

从所述作业点集合中删除所述第二关联点，并将所述第二作业点放入至所述确认组中；