[发明专利]图像半自动标注的交互方法及系统

权利要求书

1.一种图像半自动标注的交互方法，其特征在于，其包括如下步骤：

S1、将初始样本按照不同的类别属性划分为3个不同类型的标注样本，即子集1、子集2和子集3；将上述3类标注样本通过人工标注输出得到不同种类的标注结果，然后分别使用Mask-RCNN、Fast-RCNN、FCN三个深度学习模型分别训练上述3个子集，最后得到3个不同的图像区域标注的分类模型；所述步骤S1包括：按照不同类别属性在数据集中所占比例将初始样本划分为3种不同类型的标注样本，得到样本子集1、子集2和子集3；子集1的目标地物总数大于子集2；子集2的目标地物总数大于子集3；通过人工标注上述3个子集得到不同种类的标注结果，根据各个类型的数量和特征信息选取对应的深度学习训练模型，对于子集1中的标注样本送入Mask-RCNN模型中训练；对于子集2和子集3进行数据增广后送入对应模型中训练，子集2对应fast-RCNN模型，子集3对应FCN模型；

S2、使用离线的方式处理待标注图片的数据集，处理过程为将待标注图片的数据集依次经过上述3个训练好的深度学习模型，输出得到该图片包含的类型属性和坐标点位置信息的json格式文件；

S3、利用标注软件根据图像的名称调用上述json格式文件相关的属性标签值和坐标点值，实现目标地物的自动标注；

S4、显示对应自动标注的结果，人工判断目标地物的所属类别和区域标注是否规范合理，对于有错误和不规范的部分进行调整和补充，以达到标注规范的要求，实现数据集图片的完整标注；

S5、将上述正确的标注样本回馈至上述三种深度学习模型进行训练，直至所得到分类模型的分类性能提升增幅小于或等于预设阈值为止。

2.如权利要求1所述的图像半自动标注的交互方法，其特征在于，

所述步骤S2包括:将待标注图片首先放入Mask-RCNN模型中进行预测目标地物的属性和位置信息，将输出得到数据样本的名称、所有类别属性和类型对应的坐标点保存在json格式文件中；

将待标注图片依次放入fast-RCNN模型和FCN模型中进行测试，分别得到各个待标注图片的类别号和坐标点位置信息同样保存在json格式文件当中。

3.如权利要求2所述的图像半自动标注的交互方法，其特征在于，

所述步骤S3包括:

利用标注软件调用json格式文件信息；标注软件的界面布局采用多行多列的形式，第一行采用单栏的形式，用来显示菜单栏以及各个按钮的快捷键；第二行采用三栏的形式，第一栏上面显示常用的按钮；第二栏要显示的内容是画布，用来显示待标注的图片以及通过鼠标操作显示各个区域信息，第三栏在竖直方向上又被分为3个部分，第一部分显示不重复标签的类别属性，便于检查该图片包含的目标类型，第二部分显示画布上面各个标注区域的属性、坐标点个数、各个坐标点数值以及最小外接矩形框的坐标点信息，而最后一部分显示图像名称序列集合；

在点击自动标注按钮后，根据标注图像的名称调用上述json格式文件的相关的属性标签值和坐标点值，实现目标地物的自动标注，标注的不重复类别属性值将在第二行第三栏的第一列中显示，而各个目标地物的详细信息将在第二行第三栏的第二列中分别显示。