[发明专利]神经网络电路装置、神经网络、神经网络处理方法和神经网络的执行程序

权利要求书

1.一种神经网络电路装置，是至少包括输入层、输出层和1层以上的中间层的神经网络的电路装置，

其特征在于，

具有逻辑电路部、求和电路部、批归一化电路部和激活函数电路部，其中，

所述逻辑电路部在所述中间层中接收二值的输入值xi和权重wi，且进行逻辑运算；

所述求和电路部求出所述逻辑电路部的输出的总和；

所述批归一化电路部通过扩大归一化范围且使中心位移的处理来修正由二值化导致的分布不平衡；

所述激活函数电路部用激活函数fsgn(B)对信号B进行转换，其中所述信号B是对求出总和后的信号Y进行批归一化得到的信号，

求出所述总和之后的信号Y由下述式表示：

【公式6】

其中，

γ为缩放系数；

β为位移值；

μ’_B为除去偏置的平均值；当设输入值x0时的偏置值为w0，且设小批量的平均值为μ_B时，μ’_B为w0-μ_B；

σ²_B为小批量的方差值；

ε为常数。

2.根据权利要求1所述的神经网络电路装置，其特征在于，

求出所述总和之后的信号Y由下述式(4)表示的情况：

【公式4】

其中，

μ_B为小批量的平均值

输入值x0＝1，根据此时的偏置值w0，将所述式(4)变形为下述式(5)：

【公式5】

并且，将从所述偏置值w0中减去所述小批量的平均值μ_B得到的值替换为所述μ’_B，使下述式(6)

【公式6】

成立。

3.根据权利要求1所述的神经网络电路装置，其特征在于，

具有偏置值输入部，该偏置值输入部用于输入偏置值，

所述求和电路部求出所述逻辑电路部的输出和所述偏置值的总和。

4.根据权利要求3所述的神经网络电路装置，其特征在于，

具有存储部，该存储部用于存储所述偏置值，

所述偏置值输入部读出存储于所述存储部中的所述偏置值且将其输出给所述求和电路部，并且在不使用所述偏置值时向所述求和电路部写入0，据此执行下述式(6)的电路

【公式6】

5.根据权利要求3所述的神经网络电路装置，其特征在于，

具有开关，该开关用于接通或断开所述偏置值向所述求和电路部的输入，

在不使用所述偏置值时断开所述开关，且执行下述式(6)的电路

【公式6】

6.根据权利要求1所述的神经网络电路装置，其特征在于，

所述逻辑电路部包括异或非或者异或。

7.一种神经网络，其特征在于，

具有权利要求1至6中任一项所述的神经网络电路装置。