[发明专利]标注数据的校验方法、装置、计算机设备及存储介质

说明书

本申请公开了一种标注数据的校验方法、装置、计算机设备及存储介质，该方法包括：获取针对同一标注样本集的M组第一情感标注数据；基于每组第一情感标注数据与N组第二情感标注数据中每组第二情感标注数据之间的加权一致性分数，确定每组第一情感标注数据对应的第一标注得分；基于每组第一情感标注数据与M组第一情感标注数据中的每组其他第一情感标注数据之间的加权一致性分数，确定每组第一情感标注数据对应的第二标注得分，加权一致性分数依据的一致性权重由标注的情感标签之间的关联度确定；基于每组第一情感标注数据对应的第一标注得分以及第二标注得分，对每组第一情感标注数据进行校验。本方法可以实现对情感标注数据的准确校验。

技术领域

本申请涉及人工智能技术领域，更具体地，涉及一种标注数据的校验方法、装置、计算机设备及存储介质。

背景技术

随着科技水平的迅速发展，涉及情感标注数据的深度学习引起了人们极大的研究兴趣，并同时在很多应用产品中部署，例如利用情感标注数据训练语音对话模型、图像评价模型等。但是，在对样本数据进行情感标注时，容易受到标注人员的主观性、个性化的影响，进而影响了情感标注数据的标注准确性。

发明内容

本申请提出了一种标注数据的校验方法、装置、计算机设备及存储介质，可以实现对情感标注数据的准确校验。

第一方面，本申请实施例提供了一种标注数据的校验方法，所述方法包括：获取针对同一标注样本集的M组第一情感标注数据，其中，每组第一情感标注数据的标注用户不同，所述M为正整数；基于所述每组第一情感标注数据与N组第二情感标注数据中每组第二情感标注数据之间的加权一致性分数，确定所述每组第一情感标注数据对应的第一标注得分，所述第二情感标注数据为标准标注数据库中的标注数据，且所述第二情感标注数据与所述第一情感标注数据之间存在至少部分相同的标注样本，所述N为正整数；基于所述每组第一情感标注数据与所述M组第一情感标注数据中的每组其他第一情感标注数据之间的加权一致性分数，确定所述每组第一情感标注数据对应的第二标注得分，所述加权一致性分数依据的一致性权重由标注的情感标签之间的关联度确定；基于所述每组第一情感标注数据对应的第一标注得分以及第二标注得分，对所述每组第一情感标注数据进行校验。

第二方面，本申请实施例提供了一种标注数据的校验装置，所述装置包括：数据获取模块、第一评分模块、第二评分模块以及数据校验模块，其中，所述数据获取模块用于获取针对同一标注样本集的M组第一情感标注数据，其中，每组第一情感标注数据的标注用户不同，所述M为正整数；所述第一评分模块用于基于所述每组第一情感标注数据与N组第二情感标注数据中每组第二情感标注数据之间的加权一致性分数，确定所述每组第一情感标注数据对应的第一标注得分，所述第二情感标注数据为标准标注数据库中的标注数据，且所述第二情感标注数据与所述第一情感标注数据之间存在至少部分相同的标注样本，所述N为正整数；所述第二评分模块用于基于所述每组第一情感标注数据与所述M组第一情感标注数据中的每组其他第一情感标注数据之间的加权一致性分数，确定所述每组第一情感标注数据对应的第二标注得分，所述加权一致性分数依据的一致性权重由标注的情感标签之间的关联度确定；所述第二评分模块用于基于所述每组第一情感标注数据对应的第一标注得分以及第二标注得分，对所述每组第一情感标注数据进行校验。

第三方面，本申请实施例提供了一种计算机设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行上述第一方面提供的标注数据的校验方法。

第四方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述第一方面提供的标注数据的校验方法。