[发明专利]标注能力信息确定方法、相关装置及计算机程序产品

说明书

本公开提供了一种标注能力信息确定方法、装置、电子设备、计算机可读存储介质及计算机程序产品，涉及数据标注、标注结果分析、标注任务分配等技术领域。该方法包括：根据待标注任务的标注需求确定试标对象；根据标注需求和预设的试标要求，确定试标数据；根据试标对象的属性确定试标时长，并根据试标对象在试标时长内对试标数据的标注结果，确定试标对象的标注能力信息。该实施方式结合标注需求和预设的试标要求确定了试标数据，同时根据试标对象的属性来合理的确定试标时长，权衡了标注成本和标注质量，由此，提升了标注能力信息的准确性。

技术领域

本公开涉及数据处理技术领域，具体涉及数据标注、标注结果分析、标注任务分配等技术领域，尤其涉及一种标注能力信息确定方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

背景技术

随着人工智能在各方面的发展和应用，对数据进行符合要求的标注的需求量得到空前增长。数据标注是为人工智能算法提供结构化数据的过程，标注过程一般通过数据众包或者代理的方式，由标注员去完成。现今的自动标注模型的实用性还无法满足要求。

因此，如何准确确定标注对象的标注能力，是本领域技术人员研究的重点。

发明内容

本公开实施例提出了一种标注能力信息确定方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

第一方面，本公开实施例提出了一种标注能力信息确定方法，包括：根据待标注任务的标注需求确定试标对象；根据标注需求和预设的试标要求，确定试标数据；根据试标对象的属性确定试标时长，并根据试标对象在试标时长内对试标数据的标注结果，确定试标对象的标注能力信息。

第二方面，本公开实施例提出了一种标注能力信息确定装置，包括：试标对象确定单元，被配置成根据待标注任务的标注需求确定试标对象；试标数据确定单元，被配置成根据标注需求和预设的试标要求，确定试标数据；试标时长及标注能力确定单元，被配置成根据试标对象的属性确定试标时长，并根据试标对象在试标时长内对试标数据的标注结果，确定试标对象的标注能力信息。

第三方面，本公开实施例提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现如第一方面中任一实现方式描述的标注能力信息确定方法。

第四方面，本公开实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行时能够实现如第一方面中任一实现方式描述的标注能力信息确定方法。

第五方面，本公开实施例提供了一种包括计算机程序的计算机程序产品，该计算机程序在被处理器执行时能够实现如第一方面中任一实现方式描述的标注能力信息确定方法。

本公开实施例提供的标注能力信息确定方法，首先，根据待标注任务的标注需求确定试标对象；然后，根据标注需求和预设的试标要求，确定试标数据；接着，根据试标对象的属性确定试标时长；最后，根据试标对象在试标时长内对试标数据的标注结果，确定试标对象的标注能力信息。

本公开在根据标注需求确定试标对象的基础上，结合标注需求和预设的试标要求确定了试标数据，同时根据试标对象的属性来合理的确定试标时长，权衡了标注成本和标注质量，由此，提升了标注能力信息的准确性。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：

图1是本公开可以应用于其中的示例性系统架构；