[发明专利]经由偏置项在深度神经网络中纳入自顶向下信息

权利要求书

1.一种对深度神经网络进行偏置的方法，包括：

确定元素存在于去往所述网络的输入中的概率是否增大；

调整所述网络中的神经元的激活函数的偏置以提高对所述元素的敏感性，所述偏置是在不调整所述网络的权重的情况下被调整的；以及

至少部分地基于所述偏置来调整所述网络的输出。

2.如权利要求1所述的方法，其特征在于，进一步包括将所述偏置的调整量确定为常数、突触权重的函数、或响应于目标类呈现的激活的函数。

3.如权利要求1所述的方法，其特征在于，调整所述偏置包括缩放所述偏置。

4.如权利要求3所述的方法，其特征在于，所述调整的范围至少部分地基于什么很可能存在于所述输入中和/或什么很可能不存在于所述输入中的先验知识。

5.如权利要求1所述的方法，其特征在于，所述调整是在所述网络的内部层级处执行的。

6.一种用于对深度神经网络进行偏置的装备，包括：

用于确定元素存在于去往所述网络的输入中的概率是否增大的装置；

用于调整所述网络中的神经元的激活函数的偏置以提高对所述元素的敏感性的装置，所述偏置是在不调整所述网络的权重的情况下被调整的；以及

用于至少部分地基于所述偏置来调整所述网络的输出的装置。

7.如权利要求6所述的装备，其特征在于，进一步包括用于将所述偏置的调整量确定为常数、突触权重的函数、或响应于目标类呈现的激活的函数的装置。

8.如权利要求6所述的装备，其特征在于，所述用于调整所述偏置的装置包括用于缩放所述偏置的装置。

9.如权利要求8所述的装备，其特征在于，所述调整的范围至少部分地基于什么很可能存在于所述输入中和/或什么很可能不存在于所述输入中的先验知识。

10.如权利要求6所述的装备，其特征在于，所述用于调整的装置是在所述网络的内部层级处被执行的。

11.一种用于对深度神经网络进行偏置的装置，包括：

存储器单元；以及

耦合至所述存储器单元的至少一个处理器，所述至少一个处理器被配置成：

确定元素存在于去往所述网络的输入中的概率是否增大；

调整所述网络中的神经元的激活函数的偏置以提高对所述元素的敏感性，所述偏置是在不调整所述网络的权重的情况下被调整的；以及

至少部分地基于所述偏置来调整所述网络的输出。

12.如权利要求11所述的装置，其特征在于，所述至少一个处理器被进一步配置成将所述偏置的调整量确定为常数、突触权重的函数、或响应于目标类呈现的激活的函数。

13.如权利要求11所述的装置，其特征在于，所述至少一个处理器被进一步配置成通过缩放所述偏置来调整所述偏置。

14.如权利要求13所述的装置，其特征在于，所述调整的范围至少部分地基于什么很可能存在于所述输入中和/或什么很可能不存在于所述输入中的先验知识。

15.如权利要求11所述的装置，其特征在于，所述至少一个处理器被进一步配置成在所述网络的内部层级处调整所述偏置。

16.一种其上记录有程序代码的非瞬态计算机可读介质，所述程序代码由处理器执行并且包括：

用于确定元素存在于去往网络的输入中的概率是否增大的程序代码；

用于调整所述网络中的神经元的激活函数的偏置以提高对所述元素的敏感性的程序代码，所述偏置是在不调整所述网络的权重的情况下被调整的；以及

用于至少部分地基于所述偏置来调整所述网络的输出的程序代码。

17.如权利要求16所述的计算机可读介质，其特征在于，所述程序代码进一步包括用于将所述偏置的调整量确定为常数、突触权重的函数、或响应于目标类呈现的激活的函数的程序代码。

18.如权利要求16所述的计算机可读介质，其特征在于，所述用于调整所述偏置的程序代码包括用于通过缩放所述偏置来调整所述偏置的程序代码。