[发明专利]抑制标签噪声的图像分类模型训练方法、分类方法及系统

说明书

本发明公开了一种抑制标签噪声的图像分类模型训练方法、分类方法及系统，属于图像分类任务领域，包括：将图像数据集划分为训练集和验证集，利用训练集对图像分类模型进行有监督训练；遍历训练集，获得各样本的在模型输出层产生的梯度，并估计梯度模长分布，以计算训练集中样本被错误标定的概率，由此划分出错误标定样本子集和正确标定样本子集；若错误标定样本过少，则利用正确标定样本子集对模型进行有监督训练；否则，舍弃错误标定样本的类别标签后，利用两个样本子集结合半监督学习算法更新模型参数；重复遍历训练集至更新模型参数的步骤直至模型收敛。本发明能够从样本层面降低神经网络模型拟合错标定样本的风险，提高图像分类的准确率。

技术领域

本发明属于图像分类任务领域，更具体地，涉及一种抑制标签噪声的图像分类模型训练方法、分类方法及系统。

背景技术

图像分类是机器学习图像领域需要解决的主要问题之一。近些年快速发展并且持续火热的深度学习在许多图像分类任务中都取得了超过传统方法的结果。深度学习的优异表现很大程度上得益于大量数据的积累。对于图像分类这一监督学习任务而言，深度学习还依赖充足且正确的数据标签。然而在许多应用场景中，由于图像标注人员素质参差不齐，标注任务对于标签质量的把控手段和要求不同等原因，通常实际任务数据集或多或少存在着错误的图像标签，这些错误地标签也被成为标签噪声。

深度神经网络通过数据驱动的方式进行参数更新，具有强大的数据表达和推理能力。在图像分类任务中，深度神经网络通过其多层结构和非线性映射将输入图片样本映射为其类别标签。而在数据集存在标签噪声的情况下，深度神经网络强大的表达能力反而让神经网络容易学习到错误的图像到标签的映射关系。此时神经网络展现出的行为更像是强行记忆下了包括错标定样本在内的所有数据，而在测试阶段面临新的数据时，通常表现不佳，这也称为神经网络对错标定样本产生了过拟合。具体而言，神经网络在图像分类任务中通常采用类别交叉熵作为目标函数，该函数本身不具有抗噪特性，数据集中的错标定样本会产生与最优解方向不一致的梯度从而导致神经网络无法再最优解处收敛。

目前，针对图像分类任务中的标签噪声问题，现有的解决方法基本都是从监督学习的角度出发，其中一类从损失的角度进行改进，这一类方法多着眼与降低疑似错标定样本在总损失中的权重，而由于交叉熵的一阶导特性，错标定样本往往会产生更大的梯度，因此忽视梯度特性仅仅从损失的角度进行改进是不足以抑制标签噪声对模型训练效果的影响的；还有一类方法通过过滤手段尽可能滤除错标定样本，这一类方法完全放弃了疑似错标定的样本，然而这些样本虽然可能存在错误标签，但其数据仍包含可以协助分类的信息，人为降低可用样本规模一定程度上限制了神经网络的进一步优化。总体而言，现有的方法并不能很好地抑制标签噪声，使得神经网络模型的学习效果较差，最终图像分类任务的分类准确率不高。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种抑制标签噪声的图像分类模型训练方法、分类方法及系统，其目的在于，从样本层面降低神经网络模型拟合错标定样本的风险，以降低标签噪声对神经网络模型学习效果的影响，提高图像分类的准确率。

为实现上述目的，按照本发明的一个方面，提供了一种抑制标签噪声的图像分类模型训练方法，包括如下步骤：

(1)将图像数据集中已标注的图像样本及其对应的类别标签划分为训练集和验证集；

(2)利用训练集对基于神经网络的图像分类模型进行有监督训练；图像分类模型采用softmax函数或者其变体函数作为输出层激活函数，采用类别交叉熵作为目标函数；

(3)遍历训练集，获得各图像样本经过图像分类模型前向传播后，目标函数关于图像分类模型输出层未经激活的神经元输出的一阶导数，作为对应图像样本的在图像分类模型输出层产生的梯度，并估计梯度模长分布的概率密度函数；

(4)利用概率密度函数计算训练集中各图像样本被错误标定的概率，将概率大于预设阈值的图像样本划分到错误标定样本子集，将其余图像样本划分到正确标定样本子集；