[发明专利]标注数据处理方法、相关装置及计算机程序产品

说明书

本公开提供了标注数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品，涉及数据处理、测评反馈等人工智能技术领域。该方法的一具体实施方式包括：确定与待标注数据类型一致的历史标注数据，并获取与该历史标注数据对应的平均打回轮次，获取标注对象对该待标注数据进行标注的过程中的实际打回轮次，根据实际打回轮次和所述平均打回轮次的轮次差，确定对该待标注数据进行标注的标注质量信息。该实施方式通过引入计算平均打回轮次与实际打回轮次的轮次差，提升了确定出的标注质量信息的准确性。

技术领域

本公开涉及计算机技术领域，具体涉及数据处理、测评反馈等人工智能技术领域，尤其涉及标注数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

背景技术

随着人工智能在各方面的发展和应用，对数据进行符合要求的标注的需求量得到空前增长。数据标注是为人工智能算法提供结构化数据的过程，标注过程一般通过数据众包或者代理的方式，由标注员去完成。现今的自动标注模型的实用性还无法满足要求。

因此，如何更好的处理标注数据，是本领域技术人员研究的重点。

发明内容

本公开实施例提出了一种标注数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

第一方面，本公开实施例提出了一种标注数据处理方法，包括：确定与待标注数据类型一致的历史标注数据，并获取与该历史标注数据对应的平均打回轮次；获取标注对象对该待标注数据进行标注的过程中的实际打回轮次；根据该实际打回轮次和该平均打回轮次的轮次差，确定对该待标注数据进行标注的标注质量信息。

第二方面，本公开实施例提出了一种标注数据处理装置，包括：历史标注数据获取及平均轮次确定单元，该历史标注数据获取及平均轮次确定单元中包括被配置成被配置成确定与待标注数据类型一致的历史标注数据的历史标注数据获取子单元，以及被配置成获取与该历史标注数据对应的平均打回轮次的平均轮次确定子单元；实际轮次确定单元，被配置成获取标注对象对该待标注数据进行标注的过程中的实际打回轮次；质量信息生成单元，被配置成根据该实际打回轮次和该平均打回轮次的轮次差，确定对该待标注数据进行标注的标注质量信息。

第三方面，本公开实施例提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现如第一方面中任一实现方式描述的标注数据处理方法。

第四方面，本公开实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行时能够实现如第一方面中任一实现方式描述的标注数据处理方法。

第五方面，本公开实施例提供了一种包括计算机程序的计算机程序产品，该计算机程序在被处理器执行时能够实现如第一方面中任一实现方式描述的标注数据处理方法。

本公开实施例提供的标注数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品，确定与待标注数据类型一致的历史标注数据，并获取与该历史标注数据对应的平均打回轮次后，获取标注对象对该待标注数据进行标注的过程中的实际打回轮次，以便于根据该实际打回轮次和该平均打回轮次的轮次差，确定评价系数，最终生成与该评价系数对应的标注质量信息。

本公开基于与待标注数据类型一致的历史数据确定平均打回轮次后，获取标注对象对待标注数据进行标注的过程中的实际打回轮次，通过比较平均打回轮次与实际标注过程的实际打回轮次，确定出打回的轮次差，从而基于该轮次差的大小来更准确的反映标注对象在对待标注数据进行标注的标注质量信息，提升了标注质量信息的准确性。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明