[发明专利]确定数据处理过程老化状态的方法、装置及可读存储介质

说明书

本申请提供一种确定数据处理过程老化状态的方法、装置及可读存储介质，其中方法包括：确定能够被数据仓库系统调度的数据处理过程；确定所述数据处理过程的老化特征向量；将所述老化特征向量输入至已训练的二项分类模型中，通过所述二项分类模型计算出与所述数据处理过程对应的预测值；基于所述预测值确定所述数据处理过程的老化状态。本申请基于二项分类模型计算得到的预测值能够全面、准确地预测出数据处理过程的老化状态，及时主动发现老化的数据处理过程；还可以实时发现老化的数据处理过程，大大提高了数据处理过程检测的时效性和检测效果。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种确定数据处理过程老化状态的方法、装置及可读存储介质。

背景技术

在数据仓库系统中，数据抽取(Extract)、转换(Transform)、加载(Load)(简称为ETL)等数据处理过程随着系统复杂度的提升不断叠加。为了降低系统复杂度，现有技术的一种实现方式是通过在数据处理过程上线前注册该数据处理过程的生命周期，当数据处理过程到达其对应的生命周期时，则对该数据处理过程对应的数据进行存档和销毁。然而，由于基于生命周期的处理方式不能准确地确定数据处理过程的老化状态，若生命周期已到达但数据处理过程仍具有业务价值，数据处理过程由于被销毁导致失去其业务价值，同时会导致部分数据处理过程本身已不具备业务价值，但由于生命周期配置的限制，没有得到及时的销毁。

发明内容

有鉴于此，本申请提供一种数据处理过程的检测方法、装置及可读存储介质，通过主动检测数据处理过程的老化状态，确保不具备业务价值的数据处理过程能够得到及时销毁，并避免仍具有业务价值的数据处理过程被销毁。

为实现上述目的，本申请提供技术方案如下：

根据本申请的第一方面，提出了一种确定数据处理过程老化状态的方法，包括：

确定能够被数据仓库系统调度的数据处理过程；

确定所述数据处理过程的老化特征向量；

将所述老化特征向量输入至已训练的二项分类模型中，通过所述二项分类模型计算出与所述数据处理过程对应的预测值；

基于所述预测值确定所述数据处理过程的老化状态。

根据本申请的第二方面，提出了一种确定数据处理过程的状态的，包括：

第一确定模块，用于确定能够被数据仓库系统调度的数据处理过程；

第二确定模块，用于确定所述第一确定模块确定的所述数据处理过程的老化特征向量；

计算模块，用于将所述第二确定模块确定的所述老化特征向量输入至已训练的二项分类模型中，通过所述二项分类模型计算出与所述数据处理过程对应的预测值；

第三确定模块，用于基于所述计算模块计算得到的所述预测值确定所述数据处理过程的老化状态。

根据本申请的第三方面，提出了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述第一方面提出的确定数据处理过程老化状态的方法。

由以上技术方案可见，本申请基于二项分类模型计算得到的预测值能够全面、准确地预测出数据处理过程的老化状态，及时主动发现老化的数据处理过程；还可以实时发现老化的数据处理过程，大大提高了数据处理过程检测的时效性和检测效果。

附图说明

图1是本申请一示例性实施例示出的一种确定数据处理过程老化状态的方法的流程图。

图2是本申请另一示例性实施例示出的一种确定数据处理过程老化状态的方法的流程图。

图3是本申请一示例性实施例示出的训练二项分类模型的流程图。