[发明专利]一种基于数据质量检测的数据应用方法及装置

说明书

技术领域

本发明涉及数据应用领域，尤其涉及一种基于数据质量检测的数据应用方法及装置。

背景技术

随着信息处理技术的不断发展，各行各业已建立了很多计算机信息系统，并积累了大量的数据。然而随着企业数据量的急剧扩大，以及新应用的不断问世，数据的来源愈加广泛，数据的质量问题也日益凸显；高质量的数据可以使企业保持竞争力并在经济动荡时期立于不败之地；因此对于各企业而言，如何提高数据的使用效率，保证所使用的数据是高质量的、正确的、完整的，以便快速准确的识别数据对应的实体，已成为企业信息化进程中一个必不可少的环节。

发明内容

为解决现有技术的缺陷，本发明提供一种基于数据质量检测的数据应用方法及装置。

一方面，本发明提供了一种基于数据质量检测的数据应用方法，包括：

步骤S1：采集数据得到待检测数据；

步骤S2：构造所述待检测数据的质量评估模型，并对所述待检测数据进行质量评估得到评估结果；

步骤S3：根据所述评估结果判断所述待检测数据是否需要修复，是则对所述待检测数据进行修复，并将修复后的数据作为应用数据，执行步骤S4；否则将所述待检测数据作为应用数据，执行步骤S4；

步骤S4：根据所述应用数据识别对应的实体并执行相应操作。

可选地，所述步骤S1具体为：采集外部数据或者数据库中已存有的数据得到待检测数据。

可选地，所述步骤S2具体包括：

步骤S2-1：根据各预设评估指标及对应的各预设评估规则构造所述待检测数据的质量评估模型，得到预设评估规则集W^T(W₁，W₂，W₃…W_n)中预设评估规则W_i的权值P_i和期望值E_i；

步骤S2-2：根据所述预设评估规则集W^T(W₁，W₂，W₃…W_n)中预设评估规则W_i的权值P_i和期望值E_i，对所述待检测数据计算得到评估结果。

可选地，所述步骤S3中，根据所述评估结果判断所述待检测数据是否需要修复，具体包括：

步骤a1：判断所述评估结果的符号，如为正号，则执行步骤a2；如为负号，则判定所述待检测数据需要修复；

步骤a2：判断所述评估结果的数值是否大于预设数值，是则判定所述待检测数据不需要修复；否则判定所述待检测数据需要修复。

可选地，所述步骤S3中，所述对所述待检测数据进行修复，具体为：在数据库存有的数据中查找到与所述待检测数据最相似的数据，将所述待检测数据中缺失的值用查找到的数据中相应的值填充。

另一方面，本发明提供了一种基于数据质量检测的数据应用装置，包括：

采集模块，用于采集数据得到待检测数据；

质量检测模块，用于构造所述采集模块得到的待检测数据的质量评估模型，并对所述待检测数据进行质量评估得到评估结果；

第一判断模块，用于根据所述质量检测模块得到的评估结果判断所述采集模块得到的待检测数据是否需要修复；

修复模块，用于当所述第一判断模块判断出所述采集模块得到的待检测数据需要修复时，对所述采集模块得到的待检测数据进行修复；

作为模块，用于将所述修复模块修复后的数据作为应用数据；还用于当所述第一判断模块判断出所述采集模块得到的待检测数据不需要修复时，将所述采集模块得到的待检测数据作为应用数据；

数据应用模块，用于根据所述作为模块得到的应用数据识别对应的实体并执行相应操作。

可选地，所述采集模块，具体用于：采集外部数据或者数据库中已存有的数据得到待检测数据。

可选地，所述质量检测模块，具体包括：构建单元和计算单元；

所述构建单元，用于根据各预设评估指标及对应的各预设评估规则构造所述待检测数据的质量评估模型，得到预设评估规则集W^T(W₁，W₂，W₃…W_n)中预设评估规则W_i的权值P_i和期望值E_i；