[发明专利]一种基于图像生成技术的垃圾物品图像数据集构建方法

权利要求书

1.一种基于图像生成技术的垃圾物品图像数据集构建方法，其特征在于，包括如下步骤：

1)搜集整理单目标垃圾图像数据集，图像均为分类标注；

2)利用U2-Net模型进行显著性检测，得到单个垃圾物品的mask图像；

3)自动检测mask图像中垃圾物品的bounding box，根据mask图像对单个垃圾物品进行抠图，然后使背景透明化，构成新的单目标垃圾图像数据集(称为Crop数据集，其中图像尺寸即为垃圾物品的bounding box尺寸)；

4)从Crop数据集中随机抽取多张图像，构成待粘贴图像数据集Set_copy；

5)考虑遮盖阈值，将Set_copy中的图像随机粘贴在一张大的纯色背景图上，得到多目标垃圾物品合成图Syn_i，i表示第i张合成图，同时记录每一个垃圾物品的bounding box和语义分割标注，实现自动标注，该标注符合COCO数据集的标注格式，以便使用；

6)重复步骤4和步骤5生成多张合成图Syn_i和标注，构成多目标垃圾物品合成图数据集(称为Syn数据集)；

7)在流水线垃圾分拣平台采集少量多目标真实图，将真实图视为目标域，Syn_i视为源域，用CycleGAN模型进行风格转换，使Syn_i的风格特征更加接近真实的流水线垃圾分拣场景，得到转换后的Cyc_i，构成Cyc数据集；

8)对Cyc_i进行优化处理，对于一张Syn_i的mask图像，不改变图像整体尺寸，按各垃圾物品的中心点放大各垃圾物品的mask图像，得到Mask′；

9)对Mask′进行均值滤波，得到具有边缘羽化效果的Mask″；

10)利用Mask″抠出Cyc_i中的指定区域，从而消除Cyc_i中的“白边”，使过渡更加自然，得到最终合成图(称为End_i)，由End_i构成垃圾物品图像数据集，该数据集含有bounding box和语义分割标注。

2.根据权利要求1所述的一种基于图像生成技术的垃圾物品图像数据集构建方法，其特征在于，步骤4)所述的随机抽取的具体步骤是：通过计算Crop数据集中各个类别的图像数量占图像总数的比例w_k，k表示第k个类别。随机选择Set_copy中的类别总数和图像总数，然后按概率P_k＝w_k选择待粘贴图像的类别，最后从所选类别中随机抽取图像，同时要保证所选类别中的每一类中至少有1张图像被抽中。这种数据抽取方法考虑了不同类别的数量分布特性，降低了部分图像数量少的类别被反复选中的可能，最终抽取的图像可以更加多样化。

3.根据权利要求1所述的一种基于图像生成技术的垃圾物品图像数据集构建方法，其特征在于，步骤5)所述的具体步骤是：从Set_copy中提取一张图片Image₀，随机旋转后抠出前景(单个垃圾物品)所在的bounding box区域，背景透明化后得到Image_r₀，随机选择粘贴点，将Image_r₀粘贴在一张大的纯色背景图上。再从Set_copy中提取另一张图片Image_p，p表示Set_copy中第p张图像，用同样的方法得到Image_r_p，若Image_r_p和已粘贴到背景图上的所有垃圾物品的IoU小于阈值(比如0.2)，就将其粘贴在背景图上，否则放弃本次粘贴，继续随机选择粘贴坐标，继续尝试粘贴，若尝试5次依然失败就放弃粘贴该图像，继续提取Set_copy中的剩余图像。重复上述过程直到提取完Set_copy中的所有图像，至此生成了一张多目标垃圾物品合成图Syn_i。可根据需要调整Syn_i的尺寸，同时自动调整标注。