[发明专利]数据质检方法、装置、设备及存储介质

说明书

本发明属于计算机技术领域，公开了一种数据质检方法、装置、设备及存储介质。该方法包括：获取多个待检测数据，包括样本数据和标注数据；对标注数据进行预处理，得到标准化数据；从标准化数据中提取特征，得到特征序列；根据样本数据和特征序列对预设模型进行训练，得到训练好的目标模型；利用目标模型对样本数据进行识别，得到识别数据；根据标注数据和识别数据确定各个待检测数据的误码指标值；将误码指标值大于预设阈值的待检测数据确定为问题数据。通过上述方式，使用神经网络模型进行自动检测，筛选出问题数据，无需使用者确定样本数据与标注数据的正确性，节省了人力成本，提升了质检效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据质检方法、装置、设备及存储介质。

背景技术

随着AI（Artificial Intelligence）技术和理论的日益成熟，AI算法的应用领域也越来越广，业务量更是呈飞速发展的态势。人们意识到数据和算力的重要性，依据海量数据和大规模算力训练超大参数模型，已成为提高深度学习模型性能的主要方式。同时也带来一些问题：使用大数据量的训练数据（例如以亿为单位的文本和上万小时的音频）时，很难依靠纯人工的方法对数据进行质检；在面对一些超出使用者知识范围的数据（如小语种语音或文本），使用者无法判断数据的正确性。

一般的数据质检往往依赖人工全检或抽检，但面对海量的数据，人工全检的成本高昂，且某些场景下，很难有足够的符合要求的人力，对数据进行全检，而人工抽检又容易有错漏。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种数据质检方法、装置、设备及存储介质，旨在解决数据质检依赖人工全检或抽检，人工成本高且检测效率低的技术问题。

为实现上述目的，本发明提供了一种数据质检方法，所述方法包括以下步骤：

获取多个待检测数据，所述待检测数据包括样本数据和标注数据；

对所述标注数据进行预处理，得到标准化数据；

从所述标准化数据中提取特征，得到特征序列；

根据所述样本数据和所述特征序列对预设模型进行训练，得到训练好的目标模型；

利用所述目标模型对所述样本数据进行识别，得到识别数据；

根据所述标注数据和所述识别数据确定各个所述待检测数据的误码指标值；

将误码指标值大于预设阈值的待检测数据确定为问题数据。

可选地，所述样本数据为以句子为单位的音频数据，所述标注数据为标注文本数据；

所述根据所述标注数据和所述识别数据确定各个所述待检测数据的误码指标值，包括：

计算所述标注文本数据与所述识别数据之间的编辑距离；

根据所述编辑距离确定各个所述待检测数据的词错误率；

根据所述词错误率确定各个所述待检测数据的误码指标值。

可选地，所述根据所述词错误率确定各个所述待检测数据的误码指标值，包括：

确定所述标注文本数据与所述识别数据中各单词之间的插入个数、删除个数以及替换个数；

根据所述插入个数、所述删除个数、所述替换个数以及所述词错误率确定各个所述待检测数据的误码指标值。

可选地，所述对所述标注数据进行预处理，得到标准化数据，包括：

对所述标注文本数据进行拼写校正处理、数字和缩写转单词处理、大小写转换处理以及标点去除处理，得到标准化数据。