[发明专利]用于0标签和多标签分类的批softmax

说明书

实施例包括方法和用于实施所述方法的处理设备。各种实施例可以包括：使用来自神经网络中的层的多个logit的多个logit值来计算批softmax归一化因子；使用所述批softmax归一化因子对所述多个logit值进行归一化；以及将归一化后的多个logit值中的每一个映射到坐标空间中的多个流形之一。在一些实施例中，所述多个流形中的每一个表示logit可以被分类到的标签数量。在一些实施例中，所述多个流形中的至少一个表示除一个标签之外的标签数量。

相关申请

本申请要求于2019年11月15日提交的名称为“Batch Softmax For 0-Label AndMultilabel Classification(用于0标签和多标签分类的批softmax)”的希腊申请号20190100516的优先权权益，所述希腊申请的全部内容通过引用结合在此。

背景

在实际应用中，总是预期模型具有较高的预测准确度并且提供可靠的置信度分数。来自具有概率解释的softmax(归一化指数函数)分类器的分数是得到模型置信度的主要来源。然而，基于softmax的置信度分数具有明显的缺点。基于softmax的置信度分数可能是不可信的。特别地，据观察，深度神经网络倾向于对分布内数据过度自信，并对分布外数据(远离训练数据的数据)产生高置信度。还已知的是，深度神经网络容易受到对抗性攻击，在这种攻击中，只要对正确分类的示例进行轻微更改就会导致错误分类。进一步地，softmax被设计成对单标签分类问题的分类分布进行建模，其中输出空间是概率单纯形。但是分类假设不适用于0标签问题或N标签问题，其中，N1。

概述

所公开的各个方面可以包括装置和方法。各个方面可以包括：使用来自神经网络中的层的多个logit的多个logit值来生成批softmax归一化因子；使用所述批softmax归一化因子对所述多个logit值进行归一化；以及将归一化后的多个logit值中的每一个映射到坐标空间中的多个流形之一。在一些方面，所述多个流形中的每一个表示logit可以被分类到的标签数量，并且所述多个流形中的至少一个表示除一个标签之外的标签数量。

一些方面可以进一步包括计算所述归一化后的多个logit值与所述logit被分类到的标签的真值数量相比较的损失值。

一些方面可以进一步包括在对所述logit进行归一化之前，使用所述损失值训练所述神经网络以生成被映射到所述坐标空间中的适当流形的logit。在一些方面，所述logit是基于所述logit可以被分类到的所述标签数量来映射的。

在一些方面，生成所述批softmax归一化因子可以包括约束所述批softmax归一化因子，使得由使用依赖于数据点的归一化常数对所述多个logit值进行归一化产生的预测值的总和等于所述多个logit值的所有标签的总和。

在一些方面，生成所述批softmax归一化因子可以包括：标识所述多个logit的最大logit值，以及去除所述最大logit值。在一些方面，所述多个logit值包括在去除所述最大logit值之后剩余的logit值。

在一些方面，生成所述批softmax归一化因子可以包括约束所述批softmax归一化因子，使得所述多个logit值中的任何logit值的指数函数都小于或等于依赖于数据点的归一化常数。

在一些方面中，所述多个流形可以包括针对N个标签的N+1个流形，其中，所述多个流形中的第一流形表示零个标签，所述多个流形中的第二流形表示一个标签，并且所述多个流形中的第三流形表示N个标签。

在一些方面中，所述第一流形可以是所述坐标空间的原点，所述第二流形可以是所述坐标空间中的单纯形，所述第三流形可以是所述坐标空间中与所述原点相对的点，并且使用来自所述神经网络中的层的多个logit的所述多个logit值来生成所述批softmax归一化因子可以包括使用来自所述神经网络中的最后一个隐藏层的多个logit的所述多个logit值来生成所述批softmax归一化因子。