[发明专利]一种数据评估方法、装置、计算机设备及存储介质

说明书

本申请实施例公开了一种数据评估方法、装置、计算机设备及存储介质，本申请实施例可以获取待评估数据集；按照预设过滤策略对所述待评估数据集进行过滤，得到候选数据集；基于评估维度对所述候选数据集进行分析；根据分析结果获取所述待评估数据集的评估参数；根据所述评估参数确定所述待评估数据集对应的评估结果，以根据所述评估结果对所述数据进行处理。提高了对数据评估的准确性和可靠性。

技术领域

本申请涉及互联网技术领域，具体涉及一种数据评估方法、装置、计算机设备及存储介质。

背景技术

随着人工智能的快速发展，各类模型应用越来越广泛，例如，在客服领域中，呼叫中心每天会产生海量通话语音，为了监督服务质量和舆情风险，可以通过智能质检系统中构建的文本语义模型，分析用户说的话是否有风险倾向、是否有不满情绪、以及客服的表述是否存在不合理等。

而文本语义模型的检测效果依赖于大量的高质量标记数据的训练，在数据标注的过程中，因为不同的标注人员的理解会存在偏差，所以标注数据集中往往包含了许多异常噪声数据，而噪声数据对文本语义模型进行训练会直接影响文本语义模型的效果。并且，不同的数据对文本语义模型性能提升的贡献不一：简单的数据易于区分，对于文本语义模型性能提升帮助有限；过于大量的简单数据会主导文本语义模型参数的变化，影响了文本语义模型训练的效率，所以如何评估数据的质量意义重大。

现有技术中，需要人工对数据集进行评估：将抽样数据给到专家人工复核，通过数据抽检的准确率估算数据集的准确率；或者，在数据集中设置知识点(golden set)，将golden set投放到每个标注员的待标注数据集中，以golden set的准确率估算标注员的标注数据准确率。

对于抽样复核的方法中抽查比例人工指定，若抽查比例高，则需要较多人力成本以及时间成本，若抽查比例少，则抽查结果局限性高，偏差大，导致对数据评估的准确性低。对于golden set需专家提前设置投放到数据集中，golden set需要经常更新，保证每个标注员每次标注的数据集中都包含有未标注过的golden set，比较繁琐，且对数据评估的准确性低。

发明内容

本申请实施例提供一种数据评估方法、装置、计算机设备及存储介质，可以提高对数据评估准确性和可靠性。

为解决上述技术问题，本申请实施例提供以下技术方案：

本申请实施例提供了一种数据评估方法，包括：

获取待评估数据集；

按照预设过滤策略对所述待评估数据集进行过滤，得到候选数据集；

基于评估维度对所述候选数据集进行分析；

根据分析结果获取所述待评估数据集的评估参数；

根据所述评估参数确定所述待评估数据集对应的评估结果，以根据所述评估结果对所述数据进行处理。

根据本申请的一个方面，还提供了一种数据评估装置，包括：

第一获取单元，用于获取待评估数据集；

过滤单元，用于按照预设过滤策略对所述待评估数据集进行过滤，得到候选数据集；

分析单元，用于基于评估维度对所述候选数据集进行分析；

第二获取单元，用于根据分析结果获取所述待评估数据集的评估参数；

确定单元，用于根据所述评估参数确定所述待评估数据集对应的评估结果，以根据所述评估结果对所述数据进行处理。

根据本申请的一个方面，还提供了一种计算机设备，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行本申请实施例提供的任一种数据评估方法。