[发明专利]用于0标签和多标签分类的批softmax

权利要求书

1.一种方法，包括：

使用来自神经网络中的层的多个logit的多个logit值来生成批softmax归一化因子；

使用所述批softmax归一化因子对所述多个logit值进行归一化；以及

将归一化后的多个logit值中的每一个logit值映射到坐标空间中的多个流形之一，其中，所述多个流形中的每一个流形表示logit可以被分类到的标签数量，并且其中，所述多个流形中的至少一个流形表示除一个标签之外的标签数量。

2.如权利要求1所述的方法，进一步包括计算所述归一化后的多个logit值与所述logit被分类到的标签的真值数量相比较的损失值。

3.如权利要求2所述的方法，进一步包括在对所述logit进行归一化之前，使用所述损失值训练所述神经网络以生成被映射到所述坐标空间中的适当流形的logit，其中，所述logit是基于所述logit可以被分类到的所述标签数量来映射的。

4.如权利要求1所述的方法，其中，生成所述批softmax归一化因子包括约束所述批softmax归一化因子，以使得由使用依赖于数据点的归一化常数对所述多个logit值进行归一化产生的预测值的总和等于所述多个logit值的所有标签的总和。

5.如权利要求1所述的方法，其中，生成所述批softmax归一化因子包括：

标识所述多个logit的最大logit值；以及

去除所述最大logit值，其中，所述多个logit值包括在去除所述最大logit值之后剩余的logit值。

6.如权利要求1所述的方法，其中，生成所述批softmax归一化因子包括约束所述批softmax归一化因子，以使得所述多个logit值中的任何logit值的指数函数都小于或等于依赖于数据点的归一化常数。

7.如权利要求1所述的方法，其中，所述多个流形包括针对N个标签的N+1个流形，其中，所述多个流形中的第一流形表示零个标签，所述多个流形中的第二流形表示一个标签，并且所述多个流形中的第三流形表示N个标签。

8.如权利要求7所述的方法，其中：

所述第一流形是所述坐标空间的原点；

所述第二流形是所述坐标空间中的单纯形；

所述第三流形是所述坐标空间中与所述原点相对的点；以及

使用来自所述神经网络中的所述层的所述多个logit的所述多个logit值来生成所述批softmax归一化因子包括使用来自所述神经网络中的最后一个隐藏层的多个logit的多个logit值来生成所述批softmax归一化因子。

9.一种计算设备，包括处理器，所述处理器配置有处理器可执行指令以执行操作，所述操作包括：

使用来自神经网络中的层的多个logit的多个logit值来生成批softmax归一化因子；

使用所述批softmax归一化因子对所述多个logit值进行归一化；以及

将归一化后的多个logit值中的每一个logit值映射到坐标空间中的多个流形之一，其中，所述多个流形中的每一个流形表示logit可以被分类到的标签数量，并且其中，所述多个流形中的至少一个流形表示除一个标签之外的标签数量。

10.如权利要求9所述的计算设备，其中，所述处理器配置有处理器可执行指令以执行操作，所述操作进一步包括计算所述归一化后的多个logit值与所述logit被分类到的标签的真值数量相比较的损失值。

11.如权利要求10所述的计算设备，其中，所述处理器配置有处理器可执行指令以执行操作，所述操作进一步包括在对所述logit进行归一化之前，使用所述损失值训练所述神经网络以生成被映射到所述坐标空间中的适当流形的logit，其中，所述logit是基于所述logit可以被分类到的所述标签数量来映射的。