[发明专利]标注任务的处理方法、装置、电子设备及存储介质

权利要求书

1.一种标注任务的处理方法，其特征在于，所述方法包括：

响应用户发起的标注任务接取请求，获取标注任务；所述标注任务为游戏任务形式，包括已分配真值标签的第一类型标注题和未分配标注标签的第二类型标注题；

向所述用户发送所述标注任务，以使所述用户针对所述标注任务进行标注操作；

接收所述用户发送的所述标注任务对应的标注结果；其中，所述标注结果包括：所述第一类型标注题对应的第一标注结果和所述第二类型标注题对应的第二标注结果；

根据预设的标注任务激励规则，向所述用户反馈所述标注任务的任务激励；

所述方法还包括：

获取预设任务周期内或指定数量的标注任务中的有效任务组成的任务集合；其中，所述有效任务为任务评价指标值超过阈值的标注任务；所述任务评价指标值基于所述第一类型标注题对应的已分配真值标签和第一标注结果确定；

根据任务集合中的每个所述有效任务中的第二类型标注题对应的第二标注结果，判断每个所述第二类型标注题是否达到预设的一致性要求；其中，所述一致性要求用于表征第二类型标注题的标注结果的可信度；可信度超过阈值的第二类型标注题达到预设的一致性要求；所述可信度为：在第二类型标注题的总标注结果数量超过阈值的情况下，具有相同标注标签的最大标注结果数量与所述总标注结果数量的比值；

将达到所述一致性要求的第二类型标注题添加至标注数据库中。

2.根据权利要求1所述的方法，其特征在于，所述标注任务激励规则包括：根据所述第一类型标注题对应的已分配真值标签和第一标注结果的异同情况确定所述任务激励。

3.根据权利要求1所述的方法，其特征在于，获取标注任务的步骤，包括：

从包含有第一类型标注题的第一标注题库中提取第一预设数量的第一类型标注题；

从包含有第二类型标注题的第二标注题库中提取第二预设数量的第二类型标注题；

根据提取到的所述第一类型标注题和所述第二类型标注题确定标注任务。

4.根据权利要求3所述的方法，其特征在于，所述第二标注题库采用以下方式生成：

获取图像集；

对所述图像集中的图像进行数据清洗操作；

根据数据清洗操作后的图像生成第二标注题库。

5.根据权利要求4所述的方法，其特征在于，根据数据清洗操作后的图像生成第二标注题库的步骤，包括：

提取每个所述数据清洗操作后的图像对应的特征值；

根据每个所述图像对应的特征值，计算两两图像间的相似度；所述相似度用于表征两个图像对应的特征距离；

根据所述两两图像间的相似度，生成多个三元组标注题；

将多个三元组标注题添加至第二标注题库。

6.根据权利要求1所述的方法，其特征在于，所述有效任务的确定过程如下：

根据所述第一类型标注题对应的已分配真值标签和第一标注结果，确定所述标注任务的任务评价指标值；所述任务评价指标值至少包括以下之一：标注正确率和任务得分；

判断所述任务评价指标值是否大于所述指标值对应的阈值；

如果是，确定所述标注任务为有效任务。

7.根据权利要求6所述的方法，其特征在于，根据所述第一类型标注题对应的已分配真值标签和第一标注结果，确定所述标注任务的任务评价指标值的步骤，包括：

统计所述第一类型标注题对应的第一标注结果中，与所述第一类型标注题对应的已分配真值标签一致的第一目标标注结果数量；

根据所述第一目标标注结果数量确定所述标注任务的任务评价指标值。