[发明专利]人工神经网络调整方法和装置

说明书

提出了一种人工神经网络(ANN)调整方法和装置。所述ANN包括多个层并且被训练用于进行分类推理。例如，所述ANN可以是人脸识别神经网络。所述方法包括：将训练数据集按照各个类别的数据样本数划分为主导类别和稀少类别；以及以每个主导类别所占权重比每个稀少类别所占权重更低的第一损失函数对所述ANN进行调整。本发明通过使用对不同类别的损失进行加权的损失函数来对人工神经网络进行调整，能够大幅提升稀少类别的分类准确率，从而整体提升人工神经网络的整体精度。

技术领域

本发明涉及深度学习，尤其涉及对人工神经网络的调整方法和装置。

背景技术

近些年来，人工神经网络(ANN)在目标检测、图像分类等领域都取得了重大进展。但是在工程中，经常会发生标注数据类别不均衡的情况。倘若需要分类的类别较多，例如，人脸识别任务，上述标注数据的类别不均衡会而对分类结果产生较大影响。

为了解决上述问题，业已提出了各种各样的改进方案，例如数据增强和局部特征标注等。但上述方案也都未能很好地解决因标注数据的类别不均衡而导致的分类结果不准确的问题。

有鉴于此，仍然需要一种改进的神经网络调整方法。

发明内容

本发明通过使用对不同类别的损失进行加权的损失函数来对人工神经网络进行调整，能够大幅提升稀少类别的分类准确率，从而整体提升人工神经网络的整体精度。

根据本发明的一个方面，提出了一种人工神经网络(ANN)调整方法，所述ANN包括多个层并且被训练用于进行分类推理。例如，所述ANN可以是人脸识别神经网络。所述方法包括：将训练数据集按照各个类别的数据样本数划分为主导类别和稀少类别；以及以每个主导类别所占权重比每个稀少类别所占权重更低的第一损失函数对所述ANN进行调整。由此，能够提升稀少分类对网络整体精度的影响，从而能够调整得到更能正确预测稀少分类数据的网络参数。

优选地，可以使得每个所述稀少类别的权重固定为1，并使得每个所述主导类别的权重与其被正确预测的概率负相关。所述第一损失函数可以基于下式进行计算：

其中，A为稀有类别，B为主导类别，t为当前类别，P_t为预测为该类别的概率，并且调整参数γ大于0。由此，主导类别的权重可以随着正确预测概率的增大而进一步减小，同时确保稀有类别权重始终大于主导类别权重。通过此种区别分类，能够进一步拉大主导类别和稀有类别的损失差别，从而提升网络对稀有类别的预测精确度。

针对类别的划分方法，优选可以将数据样本数小于预定阈值的类别认定为稀少类别。例如，预定阈值可以是所述训练数据集的每类平均数据样本数。

优选地，训练数据集可以被进一步精细分类。将用于训练的数据集按照各个类别的数据样本数划分为主导类别和稀少类别可以包括：将主导类别按照各个类别的数据样本数进一步划分为两个或以上细分主导类别，并且为各个细分主导类别分配不同的权重计算方法或权重值，以使得样本数据数更多的细分主导类别所占权重更低；和/或将稀少类别按照各个类别的数据样本数进一步划分为两个或以上细分稀少类别，并且为各个细分稀少类别分配不同的权重计算方法或权重值，以使得样本数据数更少的细分稀少类别所占权重更高。由此，可以根据实际情况，对高主导类别进行更为严苛的权重分配，和/或进一步调高极稀少类别的权重，从而使得训练误差能够被合理回传，从而得到实现对稀少类别精确分类的网络。

在使用第一损失函数对所述ANN进行调整之前，可以使用第二损失函数对所述ANN进行初始训练。或者，可以使用第三损失函数与第一损失函数对所述ANN进行联合调整。优选地，第一损失函数和第三损失函数在所述ANN的调整过程中被赋予不同的权重。所述第一损失函数的权重也随着迭代的加深逐渐增大。由此，可以根据实际情况，合理选择进行第一损失函数网络调整的时机和强度，从而在确保网络正常收敛的同时，实现对稀少类别分类精度的提升。