[发明专利]标注任务的处理方法、装置、电子设备及存储介质

说明书

本申请提供了一种标注任务的处理方法、装置、电子设备及存储介质，其中，方法包括：响应用户发起的标注任务接取请求，获取标注任务；标注任务包括已分配真值标签的第一类型标注题和未分配标注标签的第二类型标注题；向用户发送标注任务，以使用户针对标注任务进行标注操作；接收用户发送的标注任务对应的标注结果；其中，标注结果包括：第一类型标注题对应的第一标注结果和第二类型标注题对应的第二标注结果；根据预设的标注任务激励规则，向用户终端反馈标注任务的任务激励。本申请能够提高玩家的做标注任务的积极性。

技术领域

本申请涉及任务标注技术领域，尤其是涉及一种标注任务的处理方法、装置、电子设备及存储介质。

背景技术

现有的标注任务有很多种，包括面部表情标注任务、图片标注任务、动作标注任务和视频标注任务等，标注任务中的每个标注题目有多个可标注的对象，标注人员需要从多个对象中选择出最符合题目要求的一个进行标注，以完成标注任务。

目前，上述标注任务一般会通过电子问卷的形式发放给标注人员，然后标注人员需要针对电子问卷中的每个标注题目进行人为标注，在任务完成时给予相应的工资结算。由于标注工作非常枯燥，标记过程耗时较久，导致标注人员的标记效率很差，普通用户参与标注任务的积极性不高。

发明内容

本申请的目的在于提供一种标注任务的处理方法、装置、电子设备及存储介质，可以提高玩家的做标注任务的积极性。

第一方面，本申请实施例提供一种标注任务的处理方法，方法包括：响应用户发起的标注任务接取请求，获取标注任务；标注任务包括已分配真值标签的第一类型标注题和未分配标注标签的第二类型标注题；向用户发送标注任务，以使用户针对标注任务进行标注操作；接收用户发送的标注任务对应的标注结果；其中，标注结果包括：第一类型标注题对应的第一标注结果和第二类型标注题对应的第二标注结果；根据预设的标注任务激励规则，向用户终端反馈标注任务的任务激励。

在一些实施例中，上述标注任务激励规则包括：根据第一标注题对应的已分配真值标签和第一标注结果的异同情况确定所述任务激励。

在一些实施例中，上述获取标注任务的步骤，包括：从包含有第一类型标注题的第一标注题库中提取第一预设数量的第一类型标注题；从包含有第二类型标注题的第二标注题库中提取第二预设数量的第二类型标注题；根据提取到的第一类型标注题和第二类型标注题确定标注任务。

在一些实施例中，上述第二标注题库采用以下方式生成：获取图像集；对图像集中的图像进行数据清洗操作；根据数据清洗操作后的图像生成第二标注题库。

在一些实施例中，上述根据数据清洗操作后的图像生成第二标注题库的步骤，包括：提取每个数据清洗操作后的图像对应的特征值；根据每个图像对应的特征值，计算两两图像间的相似度；相似度用于表征两个图像对应的特征距离；根据两两图像间的相似度，生成多个三元组标注题；将多个三元组标注题添加至第二标注题库。

在一些实施例中，上述方法还包括：根据第一类型标注题对应的已分配真值标签和第一标注结果，确定标注任务的任务评价指标值；任务评价指标值至少包括以下之一：标注正确率和任务得分；判断任务评价指标值是否大于指标值对应的阈值；如果是，确定标注任务为有效任务。

在一些实施例中，上述根据第一类型标注题对应的已分配真值标签和第一标注结果，确定标注任务的任务评价指标值的步骤，包括：统计第一类型标注题对应的第一标注结果中，与第一类型标注题对应的已分配真值标签一致的第一目标标注结果数量；根据第一目标标注结果数量确定标注任务的任务评价指标值。

在一些实施例中，上述方法还包括：获取预设任务周期内或指定数量的标注任务中的有效任务组成的任务集合；根据任务集合中的每个有效任务中的第二类型标注题对应的第二标注结果，判断每个第二类型标注题是否达到预设的一致性要求；一致性要求用于表征第二类型标注题的标注结果的可信度；将达到一致性要求的第二类型标注题添加至标注数据库中。