[发明专利]用于同时执行激活和卷积运算的方法和装置及其学习方法和学习装置

摘要

本发明提供一种CNN的参数学习的方法。该方法包括以下步骤：(a)允许输入值发送到单独的多个要素偏差层；(b)允许与特定要素偏差层连接的比例层将预定比例值乘以特定要素偏差层的输出值；(c)(i)允许与比例层连接的特定要素激活层应用激活函数，以及(ii)允许其他单个要素激活层对单独的要素偏差层的输出值应用激活函数；(d)允许级联层将特定要素激活层的输出值和其他要素激活层的输出值级联；(e)允许卷积层将卷积运算应用到级联输出；(f)在反向传播过程中允许损失层获取损失。

主权项

1.一种学习装置中的CNN的参数学习的学习方法，在所述学习装置中执行(i)激活模块的激活运算，所述激活模块包括多个要素偏差层、比例层和多个要素激活层，以及(ii)卷积层的卷积运算，所述方法包括以下步骤：(a)所述学习装置执行以下处理：允许与输入图像相对应的输入值发送到单独的多个要素偏差层，然后允许单独的多个要素偏差层中的每一个对所述输入值应用其对应的每个要素偏差参数qi；(b)所述学习装置执行以下处理：允许与所述多个要素偏差层中的特定要素偏差层连接的所述比例层将预定比例值乘以所述特定要素偏差层的输出值；(c)所述学习装置执行以下处理：(i)允许与所述比例层连接的特定要素激活层对所述比例层的输出值应用非线性激活函数，以及(ii)允许与单独的要素偏差层连接的其它单独的要素激活层对单独的要素偏差层的输出值应用单独的非线性函数；(d)所述学习装置执行以下处理：允许级联层将所述特定要素激活层的输出值和其他要素激活层的输出值级联，由此获取级联输出；(e)所述学习装置执行以下处理：允许所述卷积层通过使用所述卷积层的每个要素权重参数pi及其每个要素偏差参数d，对所述级联输出应用所述卷积运算；以及(f)如果(e)步骤的输出被输入应用块中并且之后获取从所述应用块输出的结果值，则所述学习装置允许损失层获取通过将从所述应用块输出的所述结果值和与其对应的GT的值进行比较而计算出的损失，由此在反向传播处理的过程中调整单独的要素偏差层的每个要素偏差参数qi、所述要素权重参数pi和所述要素偏差参数d中的至少一部分。