[发明专利]用于同时执行激活和卷积运算的方法和装置及其学习方法和学习装置

权利要求书

1.一种学习装置中的CNN的参数学习的学习方法，在所述学习装置中执行(i)激活模块的激活运算，所述激活模块包括多个要素偏差层、比例层和多个要素激活层，以及(ii)卷积层的卷积运算，

所述方法包括以下步骤：

(a)所述学习装置执行以下处理：允许与输入图像相对应的输入值发送到单独的多个要素偏差层，然后允许单独的多个要素偏差层中的每一个对所述输入值应用其对应的每个要素偏差参数qi，其中，所述输入值与所述输入图像的像素值中的每一个相对应，并且所述输入图像是如下的概念：不仅包括输入到所述CNN的图像本身，而且包括从先前卷积层接收的特征映射中的至少一个；

(b)所述学习装置执行以下处理：允许与所述多个要素偏差层中的特定要素偏差层连接的所述比例层将预定比例值乘以所述特定要素偏差层的输出值；

(c)所述学习装置执行以下处理：(i)允许与所述比例层连接的特定要素激活层对所述比例层的输出值应用非线性激活函数，以及(ii)允许与单独的要素偏差层连接的其它单独的要素激活层对单独的要素偏差层的输出值应用单独的非线性函数，其中，所述要素激活层与n个线性段相对应，该n个线性段将被用于向所述比例层的输出值或所述单独的要素偏差层的输出值应用n个非线性激活函数，并且其中，参考值被用于划分与所述n个线性段相对应的区段，并且所述区段包括关于要与所述输入值比较的各个范围的信息；

(d)所述学习装置执行以下处理：允许级联层将所述特定要素激活层的输出值和其他要素激活层的输出值级联，由此获取级联输出；

(e)所述学习装置执行以下处理：允许所述卷积层通过以下操作对所述级联输出应用所述卷积运算：(i)将所述卷积层的每个要素权重参数pi与所述级联输出中所包括的相应的要素激活层的每个输出值相乘，从而获得每个相乘得到的结果，和(ii)将所述每个相乘得到的结果和要素偏差参数d相加求和；以及

(f)如果(e)步骤的输出被输入应用块中并且之后获取从所述应用块输出的结果值，则所述学习装置允许损失层获取通过将从所述应用块输出的所述结果值和与其对应的GT的值进行比较而计算出的损失，由此在反向传播处理的过程中调整单独的要素偏差层的每个要素偏差参数qi、所述要素权重参数pi和所述要素偏差参数d中的至少一部分，其中所述(e)步骤的输出是所述激活模块的激活运算和所述卷积层的卷积运算的综合结果。

2.根据权利要求1所述的学习方法，其中，所述比例值是负值。

3.根据权利要求1所述的学习方法，其中，所述激活模块包括N路CReLUs，并且所述要素激活层是修正线性单元层、即ReLU层。

4.根据权利要求1所述的学习方法，其中，如果在步骤(c)中使用n个要素激活层，则在步骤(a)中使用n-1个要素偏差层。