[发明专利]一种基于选择与生成的数据增广方法及图像分类方法

说明书

本发明提出一种基于选择与生成的数据增广方法及图像分类方法，包括以下步骤：对输入的图像进行分割，生成多个图像块以增加训练图像的数量；然后对得到的图像块进行过滤，即利用卷积神经网络进行分类，选择与目标对象相关的图像块；再通过多示例学习对上一步过滤得到的图像块进行再选择，选择出包含对象大部分区域的图像块；最后，利用生成式对抗网络学习图像与文本之间的对应关系，利用文本描述生成更多的新图像，进一步扩充训练图像的多样性。本发明仅使用一个训练样本及其文本描述信息，通过对数据进行分割、过滤、再选择和生成，使得图像数据多样性扩增。利用扩增后的图像数据进行图像分类模型的训练，实现了一个训练样本条件下的图像分类。

技术领域

本发明涉及图像分析与识别技术领域，具体涉及一种基于选择与生成的数据增广方法及采用该方法的图像分类方法。

背景技术

近年来，随着互联网技术与多媒体技术的迅速发展，互联网图像呈现爆炸式增长。图像分类通过对图片的内容分析并给出其类别信息，是计算机视觉领域的研究难点问题。

传统的图像分类方法主要包括两个阶段：特征提取和分类器预测。在特征提取阶段，对输入的图像进行特征的提取，特征提取的方式通常分为两种：一种是密集型的特征提取，一种是针对兴趣点进行的特征提取，如提取SIFT关键点信息，进一步量化得到图像的视觉词特征描述，即词袋特征(Bag of Word，BoW)。在分类器预测阶段，基于BoW特征训练得到一个能够进行图像类别预测的分类器，如支持向量机(Support Vector Machine，SVM)，然后利用训练得到的分类器对图像进行分类。为了获得更好的分类效果，通常会利用图像中视觉对象(如图像中的鸟、车等对象)的位置信息以及视觉对象的部件(如鸟的头部、尾巴等部件)标注信息来训练对象分类器和局部分类器。特征的优劣影响了图像分类效果的优劣，而该特征主要依赖于设计者的先验知识，对图像的描述具有一定的局限性。

近年来，深度神经网络，尤其是卷积神经网络(Convolutional Neural Network，CNN)，在计算机视觉的多个任务上具有突出表现，例如图像分类、目标检测、人脸识别等。深度学习与传统图像分类方法的最大区别在于它是从海量图像数据中自动进行特征的学习，而非采用手工设计的特征。卷积神经网络的一般结构是卷积层与全连接层的组合，这种结构受人类的视觉神经元识别对象的层次结构所启发。其卷积层是一种分布表示的表征，而池化层使得卷积神经网络对于识别对象的平移和形变均不敏感。因此，卷积神经网络所学习到的图像特征能够更加有效地对图像内容进行描述。

现有的基于深度学习的图像分类方法通常依赖于大量标注的样本。但是，标注需要花费大量的人力和物力，成本巨大。因此，如何基于少量甚至一个训练样本进行图像数据的扩充，实现一个训练样本条件下的图像分类，就成为了一个具有重要意义的难题。

发明内容

针对上述难题，本发明提出了一种基于选择与生成的数据增广方法及采用该方法的图像分类方法，仅使用一个训练样本及其文本描述信息，通过多示例学习与对抗生成，对数据进行分割、过滤、再选择和生成，使得图像数据多样性扩增。利用扩增后的图像数据进行图像分类模型的训练，实现了一个训练样本条件下的图像分类。

为达到以上目的，本发明采用的技术方案如下：

一种应用于图像分类的基于选择与生成的数据增广方法，用于扩充训练样本，增加训练数据的多样性，包括以下步骤：

(1)数据分割：对输入的图像进行分割，生成多个图像块以增加训练图像的数量；

(2)数据过滤：对步骤(1)得到的图像块进行过滤，选择出与目标对象相关的图像块；

(3)数据再选择：通过多示例学习对步骤(2)过滤得到的图像块进行再选择，选择出包含目标对象大部分区域的图像块；

(4)数据生成：利用生成式对抗网络学习步骤(3)得到的图像与文本之间的对应关系，利用文本描述生成更多的与目标对象相关的新图像，进一步扩充图像的多样性。