[发明专利]一种基于图像生成技术的垃圾物品图像数据集构建方法

说明书

本发明涉及一种基于图像生成技术的垃圾物品图像数据集构建方法：搜集整理单目标垃圾图像数据集；利用U2‑Net模型得到单个垃圾物品的mask图像；对单个垃圾物品进行抠图，构成Crop数据集；从Crop数据集中随机抽取多张图像，依次随机粘贴在一张大的纯色背景图上；合成多张图像构成Syn数据集；将采集的少量多目标真实图视为目标域，Syn数据集视为源域，用CycleGAN模型进行风格转换；对风格转换结果进行优化处理，得到最终合成图。本发明的一种基于图像生成技术的垃圾物品图像数据集构建方法，将繁杂的数据采集和标注过程交给计算机自动完成，可显著提高数据集的构建效率，降低人工成本。

技术领域

本发明涉及一种图像数据集构建方法。特别是涉及一种基于图像生成技术的垃圾物品图像数据集构建方法。

背景技术

随着人工智能与环保产业的不断融合，生活垃圾智慧分拣系统逐渐显露出巨大的应用价值，其中基于深度学习的垃圾物品多目标检测技术是系统的关键感知技术。深度学习依赖大规模数据集，小规模数据集的数据量太少，不能训练出高性能深度学习模型，然而构建大规模数据集却并不容易。

现有的大规模图像数据集(如ImageNet，COCO，Open Image)常采用人工采集图像和人工标注的构建方法(常规方法)。但是，采用常规方法构建垃圾物品多目标检测图像数据集存在两方面问题：1)鉴于垃圾物品的特殊性，人工拍照采集多目标垃圾图像(一张图中有多个垃圾物品)具有较高的卫生健康风险，不适合人工采集；2)人工标注属于极端重复性劳动，费时费力且效率低下，标注人员无法在短时间内完成大规模数据集的标注工作。

发明内容

本发明所要解决的技术问题是，提供一种具有自动标注功能的，基于图像生成技术的垃圾物品图像数据集构建方法。

本发明所采用的技术方案是：一种基于图像生成技术的垃圾物品图像数据集构建方法，包括如下步骤：

1)搜集整理单目标垃圾图像数据集，图像均为分类标注；

2)利用U2-Net模型进行显著性检测，得到单个垃圾物品的mask图像；

3)自动检测mask图像中垃圾物品的bounding box，根据mask图像对单个垃圾物品进行抠图，然后使背景透明化，构成新的单目标垃圾图像数据集(称为Crop数据集，其中图像尺寸即为垃圾物品的bounding box尺寸)；

4)从Crop数据集中随机抽取多张图像，构成待粘贴图像数据集Set_copy：

5)考虑遮盖阈值，将Set_copy中的图像随机粘贴在一张大的纯色背景图上，得到多目标垃圾物品合成图Syn_i，i表示第i张合成图，同时记录每一个垃圾物品的bounding box和语义分割标注，实现自动标注，该标注符合COCO数据集的标注格式，以便使用；

6)重复步骤4和步骤5生成多张合成图Syn_i和标注，构成多目标垃圾物品合成图数据集(称为Syn数据集)；

7)在流水线垃圾分拣平台采集少量多目标真实图，将真实图视为目标域，Syn_i视为源域，用CycleGAN模型进行风格转换，使Syn_i的风格特征更加接近真实的流水线垃圾分拣场景，得到转换后的Cyc_i，构成Cyc数据集；

8)对Cyc_i进行优化处理，对于一张Syn_i的mask图像，不改变图像整体尺寸，按各垃圾物品的中心点放大各垃圾物品的mask图像，得到Mask′；

9)对Mask′进行均值滤波，得到具有边缘羽化效果的Mask″；