[发明专利]一种基于人机交互的半自动标注方法及系统

说明书

本发明公开了一种基于人机交互的半自动标注方法及系统，所述方法包括：将待标注的RGB图像与产生的第一高斯热图进行融合；对融合图像进行预处理；将预处理后的融合图像输入预先建立和训练好的半自动标注模型，对待标注RGB图像标注多个预测框；当有预测框不满足要求，则通过产生第二高斯热图对不满足要求的预测框进行修正。本发明的方法将高斯热图作为先验信息来对目标进行检测，进而达到半自动标注的预期效果；可以摆脱人工标注费时费力的弊端，并提高标注的精度。

技术领域

本发明属于目标检测领域，具体涉及一种利用额外的点击作为先验信息，通过与RGB图像进行融合达到标注目的的方法，特别涉及一种基于人机交互的半自动标注方法及系统。

背景技术

随着互联网、机器学习、大数据和云计算等技术的飞速发展，各种信息数据以指数级的速度在持续增长，在大数据时代背景下，计算机视觉发展已经相对成熟，因而滋生出多样化的行业应用。标注数据集对深度学习而言是很重要的一步，但是标注数据是件很繁琐的工作，而半自动标注可以减轻工作量。即使现在有开源的半自动标注工具，但使用的前提是模型的精度越高越好，如果检测结果不准确，就会增加工作量，导致无法使用。而且使用半自动标注工具可能有出现检测结果不准确，有目标未被检测出来等情况，因此需要手动标注进行完善。但是由于模型的效率和精度很难达到平衡，所以就目前来看主流方法还是全人工标注。

但人工标注数据集有以下几项弊端：

1、数据标注人工成本高：目标检测算法需要海量标注样本，而目前海量的数据标注任务依赖人工方式实现，“有多少人工，就有多少智能”，造成制作标注数据集的成本高。

2、人工标注的质量难以保证：不同的标注人员和标注团队存在判定尺度不一致问题，标注任务受标注人员和审查人员主观影响大，会引入一定的标注误差，数据一致性难以保证。

3、目标检测数据集标注门槛高：相比于海量的数据标注需求，专业领域的标注人员过于稀缺，导致标注门槛高，标注的尺度也难以保持一致。

发明内容

本发明的目的在于克服上述技术缺陷，提出提供了一种在Faster rcnn模型基础上基于模拟点击融合RGB通道实现半自动标注的方法，该方法通过提供模拟点击作为先验信息，根据这些信息限定预测框的生成范围。这种方法可以在Faster rcnn漏检目标时再给图片一个位置信息用来检测目标，并克服了Faster rcnn在检测目标时因为光照条件，遮挡，阴影等情况的影响，容易错检或漏检的问题。而且根据预先提供的位置信息来限制预测框生成的基础上，抑制了错检框产生的概率，有效的实现了基于人机交互的半自动标注过程，并提高了模型的检测效果和鲁棒性。

为实现上述目的，本发明的实施例1提出了一种基于人机交互的半自动标注方法，所述方法包括：

将待标注的RGB图像与产生的第一高斯热图进行融合；

对融合图像进行预处理；

将预处理后的融合图像输入预先建立和训练好的半自动标注模型，对待标注RGB图像标注多个预测框；

当有预测框不满足要求，则通过产生第二高斯热图对不满足要求的预测框进行修正操作。

作为上述方法的一种改进，所述将待标注的RGB图像与产生的第一高斯热图进行融合；具体包括：

利用与待标注的RGB图像对应的xml文件中左上坐标和右下坐标，在待标注RGB图像上确定目标所在区域，然后将目标所在区域内的所有像素点设为255，将目标所在区域外的像素点设为0，由此生成Mask图像；

在Mask图像的中心范围随机生成多个模拟点，由此生成第一高斯热图heat₁：