[发明专利]一种基于计算机的低质量分类图像数据清洗方法

说明书

本发明公开了一种基于计算机的低质量分类图像数据清洗方法，可以对从互联网批量收集的低质量分类图像数据进行有效清洗，从而获得更高质量的图像数据，用来训练一个识别率更高的分类模型。具体过程包括：先直接利用低质量分类图像数据训练一个初步的卷积神经网络，再用该网络对数据本身进行识别，清洗掉模型识别为本类的伪概率低到一定程度的图像或数量少于一定程度的图像类别，重复上述过程直到获得所有图像数据类型的识别率达到预设的标准。对比实验说明本发明能够有效提升图像数据的分类质量和识别水平。

技术领域

一种基于卷积神经网络的低质量分类图像数据的清洗方法，该方法可以对从互联网批量收集的低质量分类图像数据进行有效清洗，从而获得更高质量的图像数据，用来训练一个识别率更高的分类模型，属于人工神经网络技术领域。

背景技术

人工神经网络(Artificial Neural Network，即ANN)，是20世纪80年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。

卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络，也是人工神经网络的一种，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。由于其独特的网络结构可以有效地降低反馈神经网络的复杂性，目前卷积神经网络已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。卷积神经网络相比于传统的神经网络，其特点如下：

1.稀疏连接(Sparse Connectivity)

卷积网络通过在相邻两层之间强制使用局部连接模式来利用图像的空间局部特性，在第m层的隐层单元只与第m-1层的输入单元的局部区域有连接，第m-1层的这些局部区域被称为空间连续的接受域。

2.权值共享(Shared Weights)

在卷积神经网络中，每个稀疏过滤器通过共享权值都会覆盖整个可视域，这些共享权值的单元构成一个特征映射，再加上与稀疏连接的配合，构成了特征提取层——卷积层。

3.池化层(Pooling Layer)

池化层是卷积神经网络的另一个构建块,它的功能是通过逐步减小表征的空间尺寸来减小参数量和网络中的计算。池化层在每一个特征图上独立操作。

除此之外，卷积神经网络也包含有传统的神经网络的元素，如全连接层以及常见的非线性激活函数sigmoid、tanh、ReLU等。

在卷积神经网络取得巨大成功的今天，一个良好的数据集是训练好的卷积神经网络模型的关键所在。常见的数据集有PASCAL VOC、MNIST、ImageNet、CIFAR-10等，其中ImageNet有22K种共15M张高分辨率带标签图像，图像全被收集于网络，人工标记，常被用于卷积神经网络模型的分类性能检测。