[发明专利]基于长尾分布提升语音分类尾部识别准确度的方法

说明书

本发明公开了一种基于长尾分布提升语音分类尾部识别准确度的方法，针对头部类别在反向传播中计算所得的梯度对于尾部类别的梯度是负影响，设计了一均衡损失函数，该均衡损失函数的设计包括：设置阈值因子、计算阈值函数和计算该均衡损失函数。在语音分类模型训练过程中采用该均衡损失函数，采用该均衡损失函数可以将头部类别在反向传播过程中计算所得的梯度对于尾部类别的影响被忽略掉，通过忽略头部类别对于尾部类别的梯度影响，使得分类结果对于头部类别和尾部类别均衡对待，有效解决了传统损失函数应用在长尾分类问题中对于头部类别的偏差问题，从而提升语音分类模型的整体分类效果。

技术领域

本发明属于语音分类领域的损失函数设计领域，特别涉及一种用于处理长尾分布数据的均衡损失函数。

背景技术

语音分类是当前深度学习领域中一项重要而且具有广泛商业应用价值的领域。但是当前用于模型训练的数据集大多呈现长尾分布，是一种特殊的非对称分布，其中一部分类别包含的数据量非常多，称为头部类别，而相对应的另一部分类别所包含的数据量非常少，称为尾部类别。由于尾部类别所包含的数据相对于头部类别所包含的数据特别少，使用传统的损失函数会引起分类结果偏向于头部类别从而造成总体分类结果的偏差。往往尾部类别所包含的信息又具有不可忽略的意义。传统的损失函数对各个类别进行无差别对待，从而造成整体分类效果偏向于头部类别。分析发现，头部类别在反向传播中计算所得的梯度对于尾部类别的梯度是负影响，从而发明了一种均衡损失函数，忽略掉这部分产生负影响的梯度，从而提升模型的总体分类性能。

发明内容

本发明针对长尾分布数据的不均衡问题以及尾部类别由于数据量不充足导致的特征信息表征能力不足问题，提出一种基于长尾分布提升语音分类尾部识别准确度的方法，其中，设计了一处理长尾分布数据的均衡损失函数，通过忽略掉在反向传播过程中，头部类别的梯度对于尾部类别的负影响，从而提高模型的整体分类性能。

传统的损失函数，例如Softmax Cross-Entropy和Sigmoid Cross-Entropy对于训练数据集的各类都是同等对待，面对长尾分布的数据时，造成的不良结果就是分类结果偏向于头部样本充足的类别。某个类别c，对于其他类别j的样本都是负样本，所以类别j就会接收到一个负面的梯度p_j，这会导致网络对于类别j产生低概率的预测。如果j是一个尾部类别，样本数据不充足，那么这种负面的梯度影响就会更加严重。在反向传播过程中计算所得的梯度对于尾部类别的负面影响将会变得不可忽略。最终即使类别j的正样本也会取得相对较低的预测概率。

为了解决上述技术问题，本发明提出的一种基于长尾分布提升语音分类尾部识别准确度的方法，针对头部类别在反向传播中计算所得的梯度对于尾部类别的梯度是负影响，设计了一均衡损失函数，在语音分类模型训练过程中采用该均衡损失函数，通过忽略头部类别对于尾部类别的梯度影响，使得分类结果对于头部类别和尾部类别均衡对待，从而提升语音分类模型的整体分类效果。

本发明中，所述均衡损失函数的设计过程包括：设置阈值因子λ、计算阈值函数T_λ(x)和计算均衡损失函数；其中：

设置阈值因子λ，用于区分类别属于头部类别或者属于尾部类别；首先，计算各类别j语音样本数量频率f_j；然后，计算尾部类别占比作为设置阈值因子的标准；最后，设置阈值因子λ，用于区分类别属于头部类别或者属于尾部类别，阈值因子λ为一个超参；

计算阈值函数T_λ(x)：当T_λ(x)小于阈值因子λ时，输出为1，当T_λ(x)大于阈值因子λ时，输出为0，该阈值函数用于确认某个类别是否为尾部类别；

计算均衡损失函数，首先，计算权重因子ω_j＝1-T_λ(f_j)(1-y_j)，该权重因子，用于控制头部类别在反向传播过程中对于尾部类别的梯度影响；然后，计算损失函数