[发明专利]神经网络电路装置、神经网络、神经网络处理方法和神经网络的执行程序

说明书

本发明提供一种不需要偏置的神经网络电路装置、神经网络、神经网络处理方法和神经网络的执行程序。二值化神经网络电路(100)具有：输入输入值x1～xn(xi)(二值)的输入节点和输入权重w1～wn(wi)(二值)的输入部(101)；XNOR门电路(102)，其接收输入值x1～xn和权重w1～wn，且进行XNOR逻辑运算；求和电路(103)，其求出各XNOR逻辑值的总和；批归一化电路(41)，其通过扩大归一化范围且使中心位移的处理来修正由二值化导致的分布不平衡；和激活函数电路(35)，其使用激活函数fsgn(B)对信号B进行转换，其中所述信号B是对求出总和之后的信号Y进行批归一化得到的信号。

技术领域

本发明涉及一种神经网络电路装置、神经网络、神经网络处理方法和神经网络的执行程序(neural network circuit device,neural network,neural networkprocessing method,and program for implementing neural network)。

背景技术

有传统的前馈神经网络(FFNN：Feedforward Neural Network)、RBF(RadialBasis Function：径向基函数)网络、归一化的RBF网络和自组织映射(SOM:Self-Organizing Map)等。RBFN(RBF网络)使用径向基函数作为在误差反向传播算法(errorback propagation algorithm)中使用的激活函数(activation function)。但是，有不能获取较多中间层而难以进行高精度识别判定，或者HW规模大而处理时间长等问题，使得应用领域被限定于手写文字识别等。

近年来，作为在用于ADAS(advanced driver assistance system：高级驾驶辅助系统)的图像识别和自动翻译等中备受关注的新方式，出现了卷积神经网络(CNN：ConvolutionalNeural Network)(层之间不是全连接的NN)、递归神经网络(Recurrent neural network)(双向传播)。CNN是对深度神经网络(DNN：Deep Neural Network)附加卷积运算得到的神经网络。

专利文献1中记载了一种具有处理部的处理装置，该处理部根据纠错码的校验矩阵，使用在递阶神经网络中的松耦合的节点间学习到的权重值和输入信号来解决问题。

现有的CNN由单精度(多位)的乘积累加运算电路(product-sum operationcircuit)构成，故其需要大量的乘法电路。因此，存在着面积和电功率消耗极大的缺点。为此，提出了仅使用二值化的精度、即+1和-1(或者0和1)来构成CNN的电路(例如参照非专利文献1～4)。

在非专利文献1～4的技术中，由于使精度降低为二值，导致CNN的识别精度也降低了。为了避免这种问题的发生且保持二值化CNN的精度，需要批归一化电路(BatchNormalization)。

现有技术文献

【专利文献】

专利文献1：日本发明专利公开公报特开2016-173843号

【非专利文献】

非专利文献1：M.Courbariaux,I.Hubara,D.Soudry,R.E.Yaniv,Y.Bengio,“Binarized neural networks:Training deep neural networks with weights andactivations constrained to+1or-1,”Computer Research Repository(CoRR)，“二值化NN的算法”、[online]、2016年3月、[平成28年10月5日检索]，URL:http://arxiv.org/pdf/1602.02830v3.pdf