[发明专利]数据质量确定方法、装置、电子设备及存储介质

说明书

本公开实施例公开了一种数据质量确定方法、装置、电子设备及存储介质。其中，所述方法包括：获取目标应用场景下与待评价数据质量相关的预设因子；其中，预设因子包括以下至少之一：待评价数据所在目标数据源在目标应用场景下前一时间周期的质量、待评价数据在目标应用场景下当前时间周期的应用效能、目标数据源中预设种子数据集在目标应用场景下前一时间周期的质量、与待评价数据的相关数据在目标应用场景下前一时间周期的质量；根据预设因子确定待评价数据在目标应用场景下当前时间周期的质量。本公开实施例能够在多数据源、多应用的大数据环境下，对待评价数据进行价值量化评估，并随着时间周期波动而不断变化。

技术领域

本公开涉及计算机技术领域，具体涉及一种数据质量确定方法、装置、电子设备及存储介质。

背景技术

数据仓库是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合，用于支持管理决策(Decision Making Support)。数据仓库中的每一例数据应用于整个体系，理论上将产生正面或负面的作用，这个作用的量化评价值可以定义为应用效能；数据仓库中每一条数据的价值可以基于应用效能而量化。

在大数据时代，数据质量直接关系到数据挖掘、机器学习的质量。同时，数据的质量及价值也会随着时间而逐渐衰减，因此，需要在事中能量化评估数据的质量。

当前评估数据质量的方案通常是两类：事前的定性评价和事前的量化评估。本公开发明人发现，这两类数据质量评估方法都局限于事前评估，不能进行基于反馈的事中质量管理；没有考虑到同一数据源的继承关系，也没有考虑到数据在实际应用中的价值波动；也没有考虑大数据体系、多源数据体系中，数据质量因外部变化而产生的变化；数据质量评估模型或核心参数均为人定，非客观。

发明内容

本公开实施例提供一种数据质量确定方法、装置、电子设备及计算机可读存储介质。

第一方面，本公开实施例中提供了一种数据质量确定方法。

具体的，所述数据质量确定方法，包括：

获取目标应用场景下与待评价数据质量相关的预设因子；其中，所述预设因子包括以下至少之一：所述待评价数据所在目标数据源在所述目标应用场景下前一时间周期的质量、所述待评价数据在所述目标应用场景下当前时间周期的应用效能、所述目标数据源中预设种子数据集在所述目标应用场景下前一时间周期的质量、与所述待评价数据的相关数据在所述目标应用场景下前一时间周期的质量；

根据所述预设因子确定所述待评价数据在所述目标应用场景下当前时间周期的质量。

进一步地，所述数据质量确定方法还包括：

确定所述待评价数据在所述目标应用场景下当前时间周期每次被调用后得到的多个反馈信息；

根据所述多个反馈信息确定所述待评价数据在所述目标应用场景下当前时间周期的应用效能。

进一步地，所述根据所述预设因子确定所述待评价数据在所述目标应用场景下当前时间周期的质量，包括以下至少之一：

根据所述目标数据源在所述目标应用场景下前一时间周期的质量、预设衰减因子确定所述待评价数据在所述目标应用场景下当前时间周期的质量；

根据所述待评价数据在所述目标应用场景下当前时间周期的应用效能、所述待评价数据在所述目标应用场景下当前时间周期被调用的次数，确定所述待评价数据在所述目标应用场景下当前时间周期的质量；

根据所述目标数据源中预设种子数据集在所述目标应用场景下前一时间周期的质量、所述种子数据集在所述目标应用场景下当前时间周期与所述待评价数据之间的相似度，确定所述待评价数据在所述目标应用场景下当前时间周期的质量；