[发明专利]用于同时执行激活和卷积运算的方法和装置及其学习方法和学习装置

说明书

本发明提供一种CNN的参数学习的方法。该方法包括以下步骤：(a)允许输入值发送到单独的多个要素偏差层；(b)允许与特定要素偏差层连接的比例层将预定比例值乘以特定要素偏差层的输出值；(c)(i)允许与比例层连接的特定要素激活层应用激活函数，以及(ii)允许其他单个要素激活层对单独的要素偏差层的输出值应用激活函数；(d)允许级联层将特定要素激活层的输出值和其他要素激活层的输出值级联；(e)允许卷积层将卷积运算应用到级联输出；(f)在反向传播过程中允许损失层获取损失。

技术领域

本发明涉及一种用于学习装置中的CNN(Convolution Neural Networks，卷积神经网络)的参数学习的学习方法和使用该学习方法的学习装置，所述学习方法中执行激活运算和卷积运算，更具体地，本发明涉及一种学习装置中的CNN的参数学习的学习方法，所述学习装置执行(i)包括多个要素偏差层、比例层以及多个要素激活层的激活模块的激活运算；(ii)卷积层的卷积运算，所述方法包括以下步骤：(a)所述学习装置执行以下处理：允许与输入图像相对应的输入值发送到单独的多个要素偏差层，然后允许单独的多个要素偏差层中的每一个对所述输入值应用其对应的每个要素偏差参数q_i；(b)所述学习装置执行以下处理：允许与所述多个要素偏差层中的特定要素偏差层连接的比例层将预定比例值乘以所述特定要素偏差层的输出值；(c)所述学习装置执行以下处理：(i)允许与所述比例层连接的特定要素激活层对所述比例层的输出值应用非线性激活函数，以及(ii)允许与单独的要素偏差层连接的其它单独的要素激活层对单独的要素偏差层的输出值应用单独的非线性函数；(d)所述学习装置执行以下处理：允许级联层将所述特定要素激活层的输出值和其他要素激活层的输出值级联，由此获取级联输出；(e)所述学习装置执行以下处理：允许所述卷积层通过使用所述卷积层的每个要素权重参数p_i及其每个要素偏差参数d，对所述级联输出应用卷积运算；以及(f)如果(e)步骤的输出被输入应用块中并且之后后取得从所述应用块输出的结果值，则所述学习装置允许损失层获取通过将从所述应用块输出的所述结果值和与其对应的GT的值进行比较而计算出的损失，由此在反向传播处理的过程中调整单独的要素偏差层的每个要素偏差参数q_i、所述要素权重参数p_i和所述要素偏差参数d中的至少一部分。

背景技术

深度卷积神经网络或深度CNN，是深度学习领域显著发展的核心。尽管CNN已被用于解决20世纪90年代的字符识别问题，但直到最近CNN才在机器学习中得到广泛应用。由于最近的研究，CNN已经成为机器学习领域非常有用和强大的工具。例如，在2012年，CNN在年度软件竞赛ImageNet大规模视觉识别挑战赛中的表现明显优于其竞争对手，并赢得了比赛。之后，CNN已经成为机器学习领域中非常有用的工具。

图1示出了具有能够执行CReLU运算和卷积运算的CNN的以往学习装置的结构。

通过参考图1，以往的学习装置具有交替布置的许多卷积层(例如卷积层110和130)以及许多级联修正线性单元(CReLU,Concatenated Rectified Linear Units)(例如CReLU 120和其它CReLU(未示出))。

这里，CReLU 120可以包括两个修正线性单元(ReLU)122，并且ReLU122的运算通过以下公式来执行：

[公式1]

ReLU(x)＝max(0，x)

CReLU是一种激活机制，其按照下面的公式另外进行ReLU的负激活以及正激活。

[公式2]

CReLU(x)＝(ReLU(x)，ReLU(-x))＝(max(0，x)，max(0，-x))

与ReLU相比，CReLU可以使结果值的数量加倍，而不会增加卷积层的计算负载。因此，CReLU可以在保持检测速度的同时提高检测精度。