[发明专利]标注能力信息确定方法、相关装置及计算机程序产品

权利要求书

1.一种标注能力信息确定方法，包括：

根据待标注任务的标注需求确定试标对象；

根据所述标注需求和预设的试标要求，确定试标数据；

根据所述试标对象的属性确定试标时长，并根据所述试标对象在所述试标时长内对所述试标数据的标注结果，确定所述试标对象的标注能力信息。

2.根据权利要求1所述的方法，其中，所述根据所述标注需求和预设的试标要求，确定试标数据，包括：

根据所述试标需求确定待标注数据的数据类型、待标注元素、标注方式；

根据所述试标要求确定与所述待标注元素对应的要求数量范围、与所述待标注数据对应的要求数据量、与所述数据类型对应的要求场景类型集合；

将所述待标注元素的实际数量覆盖所述要求数量范围、所述数据类型下的实际场景类型覆盖所述要求场景类型集合中各要求场景类型、实际数据量不少于所述要求数据量的待标注数据，确定为所述试标数据。

3.根据权利要求2所述的方法，其中，所述根据所述试标对象在所述试标时长内对所述试标数据的标注结果，确定所述试标对象的标注能力信息，包括：

确定所述试标对象在所述试标时长内对所述试标数据的实际标注量；

根据所述实际标注量与所述试标数据的总量的比值，确定试标完成率；

确定所述实际标注量的已标注数据中与各所述要求场景类型分别对应的试标正确率；

根据所述试标正确率和所述试标完成率，确定所述试标对象对不同要求场景类型的待标注数据的标注能力信息。

4.根据权利要求3所述的方法，还包括：

确定所述试标对象在构成所述试标时长的各试标时段对所述试标数据的实际标注效率；

确定各所述实际标注效率中的异常标注效率；

将与所述异常标注效率对应的已标注数据排除于所述实际标注量和所述标注正确率的计算范围。

5.根据权利要求1所述的方法，其中，所述根据所述试标对象的属性确定试标时长，包括：

根据所述试标对象的历史标注记录确定历史单次标注时长和历史标注难度；

根据所述试标数据的预期标注难度与所述历史标注难度，确定差异系数；

根据所述差异系数调整所述历史单次标注时长，得到所述试标时长。

6.根据权利要求5所述的方法，其中，所述根据所述差异系数调整所述历史单次标注时长，得到所述试标时长，包括：

响应于所述差异系数为正，将所述差异系数与所述历史单次标注时长的乘积，作为所述试标时长；其中，所述差异系数为正表示所述预期标注难度大于所述历史标注难度；

响应于所述差异系数为负，将所述历史单次标注时长与所述差异系数的商的绝对值，作为所述试标时长；其中，所述差异系数为负表示所述预期标注难度小于所述历史标注难度。

7.根据权利要求1-6任一项所述的方法，其中，所述根据待标注任务的标注需求确定试标对象，包括：

根据所述待标注任务的标注需求确定所需的标注能力类别；

将具有所述标注能力类别相应的标注能力的标注对象，确定为所述试标对象信息；

对应的，所述确定所述试标对象的标注能力信息，包括：

确定所述试标对象在所述标注能力类别下的标注能力值。

8.根据权利要求7所述的方法，其中，在确定所述试标对象在所述标注能力类别下的标注能力值之后，还包括：

根据所述试标对象的标注能力值，为所述试标对象分配相应比例的待标注任务。

9.一种标注能力信息确定装置，包括：

试标对象确定单元，被配置成根据待标注任务的标注需求确定试标对象；

试标数据确定单元，被配置成根据所述标注需求和预设的试标要求，确定试标数据；

试标时长及标注能力信息确定单元，被配置成根据所述试标对象的属性确定试标时长，并根据所述试标对象在所述试标时长内对所述试标数据的标注结果，确定所述试标对象的标注能力信息。