[发明专利]标注数据的方法、装置、终端设备和存储介质

说明书

本申请适用于终端人工智能领域，提供了一种标注数据的方法、装置、终端设备和存储介质。该方法包括：获取待标注数据；接收由多个标注者分别为所述待标注数据进行标注而得到的多个标签；根据每个所述标注者的标注能力参数，对所述多个标签进行融合处理，得到目标标签，所述标注能力参数用于衡量标注者对所述待标注数据进行标注的准确度；将所述目标标签确定为所述待标注数据的标注结果。在上述过程中，数据的标注工作不再由某个特定的标注者完成，因而能够避免由于该特定标注者不够专业或者偶然性犯错导致的数据标注错误问题。另外，在融合多个标注者的标注结果时，会综合每个标注者的标注能力参数，标注结果倾向于来自标注准确度更高的标注者。

技术领域

本申请属于终端人工智能(Artificial Intelligence，AI)领域，具体和数据处理领域相关，尤其涉及一种标注数据的方法、装置、终端设备和存储介质。

背景技术

目前，在对数据进行分类时，通常会采用基于主动学习的数据标注方法。主动学习的核心思想是采用查询函数从未标注数据池中挑选出一部分最重要、最有信息量或最不确定的样本，将这些样本交予标注者进行人工标注，然后使用标注后的样本扩充已标注数据池，不断迭代、更新分类模型，直至该分类模型的准确度达到要求，或者迭代的次数达到指定次数。

主动学习的两个关键要素分别是查询函数的设计和标注者所提供的标签的正确性，前者确保主动学习算法只消耗最低的标注资源，后者则保证每一次训练迭代时所使用的训练集包含正确的带标签数据。查询函数的重要性不言而喻，因此现有的主动学习的大多数相关工作都将重点放在查询函数的设计上。然而，在确保人工标注的准确性方面，目前大多只是假定标注者是一名领域专家，其提供的标签是绝对正确的，并未对数据标注的准确性进行考量。显然，假设选取的标注者不是相关领域内的专家，或者标注者出现偶然性的犯错，则很可能会为样本数据标注错误的标签，导致分类模型的准确度下降。

发明内容

有鉴于此，本申请实施例提供了一种标注数据的方法、装置、终端设备和存储介质，在主动学习的数据标注环节中，能够为样本数据提供准确的分类标签，提升分类模型的准确度。

第一方面，本申请实施例提供了一种标注数据的方法，包括：

获取待标注数据；

接收由多个标注者分别为所述待标注数据进行标注而得到的多个标签；

根据每个所述标注者的标注能力参数，对所述多个标签进行融合处理，得到目标标签，所述标注能力参数用于衡量标注者对所述待标注数据进行标注的准确度；

将所述目标标签确定为所述待标注数据的标注结果。

本申请实施例通过收集多个不同标注者对数据进行标注得到的多个标签，并结合每个标注者的标注能力参数，对这多个标签进行融合处理，得到最终的数据标注结果。在上述过程中，数据的标注工作不再由某个特定的标注者完成，因而能够避免由于该特定标注者不够专业或者偶然性犯错导致的数据标注错误问题。另外，在融合多个标注者的标注结果时，会综合考虑每个标注者的标注能力参数，可以得到隐含标注者标注准确度的综合标签，最终的标注结果倾向于来自标注准确度更高的标注者。因此，在主动学习的数据标注环节中，采用该方法能够为样本数据提供准确的分类标签，提升分类模型的准确度。

在第一方面的一种可能的实现方式中，所述根据每个所述标注者的标注能力参数，对所述多个标签进行融合处理，得到目标标签可以包括：

根据每个所述标注者的标注能力参数以及所述多个标签，分别计算得到各个预设的类别标签的期望分值，所述期望分值用于衡量所述待标注数据属于相应类别标签的概率；

将所述各个类别标签中所述期望分值最大的类别标签确定为所述目标标签。