[发明专利]基于图像目标-背景变换的数据集增强方法及系统

说明书

本发明涉及一种基于图像目标‑背景变换的数据集增强方法及系统。方法包括：对含有真实标注框的图像进行分割，获得图像的前景目标预测框；计算前景目标预测框和真实标注框的交并比，判断前景目标预测框是否为正确预测；若前景目标预测框为正确预测，则对前景目标预测框区域的内容进行仿射变换；将前景目标预测框区域内容与背景图像的对应位置区域进行线性融合；若前景目标预测框为错误预测，则对真实标注框区域的内容进行仿射变换；将图像的背景区域替换为对应位置区域的背景图像内容。本发明通过目标‑背景自动分析与切换技术，形成具有新的背景和目标关系的图像，增加训练过程中数据的多样性，解决背景过拟合的问题。

技术领域

本发明涉及计算机技术领域，具体涉及一种基于图像目标-背景变换的数据集增强方法及系统。

背景技术

现如今，深度学习技术发展日益成熟。作为大数据处理与分析的最好方法之一，深度学习在各行各业的应用范围逐渐广泛并落地，促进了包括客服、门店、仓储、配送等在内的一系列新零售企业的发展。在实际应用中，获取效果更佳的深度学习模型。通常会采集对应场景下大量的数据进行训练学习。如在新零售门店应用场景中，对固定监控摄像头场景下的移动人体进行识别，首先收集该应用场景下的大量数据，标注出人体目标后将其作为训练集进行训练。但在该场景下，由于采集设备安装固定，采集的大量图像背景相同，导致数据集背景缺乏多样性。与传统机器学习方法相比，虽然深度学习更善于挖掘多维数据中错综复杂的关系，取得更为理想的结果，但其模型的精度更加依赖训练数据，包括训练数据的质量、数量、目标类别平衡性以及多样性等。如直接将存在大量背景相同的数据集作为训练集进行训练，由于背景单一简单，即作为负样本的背景学习难度低，极其容易得到背景过拟合的模型。

为解决模型过拟合的问题，在数据集方面，绝大数相关论文和企业应用通过对原始图像数据进行如几何变换（平移、旋转、翻转）、亮度和对比度随机调整等，实现图像增强。这些图像方法虽然可以在一定程度上增加多样性，但就其本质而言，背景和目标物体的语义关系并没有改变，很难实现背景和目标的多样性，从根本上解决新零售应用场景中的背景过拟合问题。此外，也有基于用生成对抗网络生成训练样本的方法，GAN模型的训练过于复杂，图像中的目标和背景信息也不准确，即缺乏细节信息。

发明内容

鉴于此，本发明的目的在于提供一种基于图像目标-背景变换的数据集增强方法及系统，通过目标-背景自动分析与切换技术，形成具有新的背景和目标关系的图像，增加训练过程中数据的多样性，解决背景过拟合的问题。

为了实现上述目的，本发明提供如下技术方案：

本发明提供一种基于图像目标-背景变换的数据集增强方法，所述基于图像目标-背景变换的数据集增强方法包括：

对含有真实标注框的图像进行分割，获得图像的前景目标预测框；

计算前景目标预测框和真实标注框的交并比，判断前景目标预测框是否为正确预测；

若前景目标预测框为正确预测，则对前景目标预测框区域的内容进行仿射变换；

将前景目标预测框区域内容与背景图像的对应位置区域进行线性融合；

若前景目标预测框为错误预测，则对真实标注框区域的内容进行仿射变换；

将图像的背景区域替换为对应位置区域的背景图像内容。

在上述的基于图像目标-背景变换的数据集增强方法中，作为优选方案，所述对含有真实标注框的图像进行分割，获得图像的前景目标预测框，包括：

利用MaskRCNN模型进行对含有真实标注框的图像进行分割，得到目标的概率矩阵P；