[发明专利]图像半自动标注的交互方法及系统

说明书

一种图像半自动标注的交互方法，包括：S1、将初始样本按照不同的类别属性划分为3个不同类型的标注样本；将上述3类标注样本通过人工标注得到不同种类的标注结果，然后分别使用Mask‑RCNN、Fast‑RCNN、FCN三个模型分别训练；S2、使用离线的方式处理待标注图片的数据集，标注过程为将待标注图片的数据集依次经过上述3个深度学习模型，输出得到数据样本所有类型和坐标点的json格式文件；S3、根据标注图像的名称调用上述json格式文件的相关的属性标签值和坐标点值；S4、在标注软件中显示对应自动标注的结果，通过人工判断目标地物的所属类别和区域标注是否规范合理；S5、将上述标注正确的标注样本进行数据增广后回馈至所述模型再训练。

技术领域

本发明涉及汽车无人驾驶道路图像标注技术领域，特别涉及一种图像半自动标注的交互方法及系统。

背景技术

数据是AI的燃料，这充分说明数据在自动驾驶领域的重要性不言而喻，尤其是国内自动驾驶起步较晚，缺乏合理有效的数据集进行训练。在复杂路况下，自动驾驶还远远达不到上路标准，比如：在不同道路环境下的车辆、行人、道路信号标志灯的识别和定位，这其中的很多问题仅依靠技术手段很难解决，因此需要大规模精准数据集的帮助，现有的待标注数据的方法可分为两种：传统手工标注和半自动智能标注。

传统手工标注是由相关人员指定标注规范，大量标注人员手动进行道路地物标注的过程。而实际待标注数据是一个很困难的过程，标注任务复杂，繁琐，耗时，需要花大量时间整理和待标注数据；此外，由于每个标注者专业知识背景的不同，对标注规范的理解和认知也会有一定的差异，标注过程中可能会出现一些不符合标准的标注错误，而这些标注不规范的部分为后续的深度学习任务带来巨大的挑战。

半自动智能标注是将深度学习技术应用到自动标注技术当中，最近深度学习掀起了人工智能的新浪潮，它被广泛应用到无人驾驶、医学、人脸识别和语音理解翻译等各方面领域，其标注过程是通过深度学习神经网络训练大量标注规范的道路数据集，将得到的深度学习模型识别和定位未标注的道路目标地物，但在训练数据集数量不足和数据集类别数较多的情况下，部分自动标注的效果可能和实际地物坐标点位置出现差异，这主要是由于在训练模型的过程中单个深度学习模型的泛化能力不足，也有可能是在训练过程中出现欠拟合或者过拟合，因此需要人工审核修正地物的正确属性和坐标点位置，这种方法虽然在一定程度上提高了标注效率，但是仍不适用于大样本多标签下的样本标注。

发明内容

有鉴于此，本发明的目的是提供一种基于多种深度学习模型集成的图像半自动标注目标地物的交互方法及系统，以解决上述背景技术中提到的问题。

一种图像半自动标注的交互方法，其包括如下步骤：

S1、将初始样本按照不同的类别属性划分为3个不同类型的标注样本，即子集1、子集2和子集3；将上述3类标注样本通过人工标注输出得到不同种类的标注结果，然后分别使用Mask-RCNN、Fast-RCNN、FCN三个深度学习模型分别训练上述3个子集，最后得到3个不同的图像区域标注的分类模型；

S2、使用离线的方式处理待标注图片的数据集，处理过程为将待标注图片的数据集依次经过上述3个训练好的深度学习模型，输出得到该图片包含的类型属性和坐标点位置信息的json格式文件；

S3、利用标注软件根据图像的名称调用上述json格式文件相关的属性标签值和坐标点值，实现目标地物的自动标注；

S4、显示对应自动标注的结果，人工判断目标地物的所属类别和区域标注是否规范合理，对于有错误和不规范的部分进行调整和补充以达到标注规范的要求，实现数据集图片的完整标注；

S5、将上述正确的标注样本回馈至上述三种深度学习模型进行训练，直至所得到分类模型的分类性能提升增幅小于或等于预设阈值为止。

在本发明所述的图像半自动标注的交互方法中，

所述步骤S1包括：