[发明专利]一种图像标注鉴别方法及系统

说明书

本申请公开了一种图像标注鉴别方法及系统，该方法包括：根据待标注图像集，获取被复制图像集与复制图像集，所述被复制图像集为所述待标注图像集的子集，所述复制图像集为复制所述被复制图像集得到的；分别获取所述被复制图像集对应的已标注被复制图像集与所述复制图像集对应的已标注复制图像集；判断所述已标注被复制图像集与所述已标注复制图像集的相似性是否满足第一预设条件，如果是，则判定图像标注过程存在作弊行为。本发明通过判断已标注被复制图像集与已标注复制图像集的相似性是否满足第一预设条件来判断标注过程中是否存在作弊行为，设定了作弊判定标准，当图像数据量很大时，仍能高效鉴别标注过程中是否存在作弊行为。

技术领域

本发明涉及图像标注领域，特别涉及一种图像标注鉴别方法及系统。

背景技术

在机器学习领域，图像人工标注在模型训练与模型评估方面起着至关重要的作用。一方面，在模型训练过程中，人工标注的图像通常作为模型训练的数据，图像标注质量能够直接影响模型的性能；另一方面，在模型评估过程中，人工标注的图像通常作为算法性能评估的参考标准，图像标注质量也起着决定性作用。

当需要标注的图像数据为私有时，不宜采用类似ImageNet和COCO等数据库的众包模式进行标注，通常会将私有图像数据外包给专业团队进行标注，此时，则需要鉴别图像标注过程中是否有作弊行为来评价标注质量，尤其当图像数据量很大时，更加需要高效鉴别标注过程是否存在作弊行为。

发明内容

有鉴于此，本发明的目的在于提供一种图像标注鉴别方法及系统，能够高效鉴别图像标注过程中是否存在作弊行为。其具体方案如下：

一种图像标注鉴别方法，包括：

根据待标注图像集，获取被复制图像集与复制图像集，所述被复制图像集为所述待标注图像集的子集，所述复制图像集为复制所述被复制图像集得到的；

分别获取所述被复制图像集对应的已标注被复制图像集与所述复制图像集对应的已标注复制图像集；

判断所述已标注被复制图像集与所述已标注复制图像集的相似性是否满足第一预设条件，如果是，则判定图像标注过程存在作弊行为。

优选地，所述判断所述已标注被复制图像集与所述已标注复制图像集的相似性是否满足第一预设条件的过程，包括：

分别获取所述已标注被复制图像集与所述已标注复制图像集对应的实际标注集合，得到被复制图像集实际标注集合与复制图像集实际标注集合；

分别获取所述被复制图像集实际标注集合与所述复制图像集实际标注集合对应的类别标签集与标注区域集；

根据类别标签集与标注区域集，分别对所述已标注被复制图像集与所述已标注复制图像集进行相似性度量，得到对应的重叠标注区域面积比与重叠标注区域个数比；

利用所述已标注被复制图像集与所述已标注复制图像集的重叠标注区域面积比，计算出相应的面积参数，以及利用所述已标注被复制图像集与所述已标注复制图像集的重叠标注区域个数比，计算出相应的个数参数；

获取包括预设面积阈值和预设数量阈值的第一预设阈值，并判断所述已标注被复制图像集与所述已标注复制图像集中是否存在图像使得所述面积参数不在由所述预设面积阈值确定的面积范围之内和/或所述个数参数不在由所述预设数量阈值确定的数量范围之内，如果是，则判定所述已标注被复制图像集与所述已标注复制图像集的相似性满足所述第一预设条件。

优选地，进一步包括：

获取混淆图像集，其中，所述混淆图像集与所述待标注图像集的交集为空集；

判断所述混淆图像集是否满足第二预设条件，如果是，则判定图像标注过程存在作弊行为。

优选地，所述判断所述混淆图像集是否满足第二预设条件的过程，包括：