[发明专利]神经网络电路装置、神经网络、神经网络处理方法及神经网络的执行程序

说明书

本发明提供一种无需批归一化电路的神经网络电路装置、神经网络、神经网络处理方法及神经网络的执行程序。二值化神经网络电路(100)具备：输入输入值x1～xn(xi)(二值)的输入节点及输入加权w1～wn(wi)的输入部(101)、接收输入值x1～xn及加权w1～wn并采用XNOR逻辑的XNOR门电路(102)、输入多位偏置W'的多位偏置W'输入部(110)、取各XNOR逻辑值和多位偏置W'的总和的求和电路(103)及对于取总和后的信号Y仅输出符号位的激活电路(120)。

技术领域

本发明涉及一种神经网络电路装置、神经网络、神经网络处理方法及神经网络的执行程序。

背景技术

已有经典的前馈神经网络(FFNN：Feedforward Neural Network)、RBF(RadialBasis Function)网络、归一化RBF网络、自组织映射神经网络等。RBFN在用于误差反向传播法的激活函数中使用径向基函数。但是，存在不能获得较多的中间层从而难以进行高精度识别判定，或HW規模较大而耗费处理時间等问题，在手写文字识别等应用领域受到限制。

近年来，作为因用于ADAS(advanced driver assistance system)的图像识别及自动翻译等而备受关注的新方式，出现了卷积神经网络(CNN：Convolutional NeuralNetwork)(层之间不是全连接的NN)及递归型神经网络(双向传播)。CNN是在深度神经网络(DNN：Deep Neural Network)中追加卷积运算。

专利文献1中记载了具备如下处理部的处理装置，该处理部基于纠错码的校验矩阵，使用在递阶型神经网络中的松耦合的节点间所学习到的加权的值和输入信号来解决问题。

现有的CNN由短精度(多位)的积和运算电路构成，需要大量的乘法电路。因此，存在面积及功耗巨大的缺点。因此，提出了仅使用二值化精度即+1和-1来构成CNN的电路(例如，参见非专利文献1～4)。

现有技术文献

专利文献

专利文献1：日本特开2016-173843号公报

非专利文献

非专利文献1：M.Courbariaux、I.Hubara、D.Soudry、R.E.Yaniv、Y.Bengio“二值化神经网络:通过限制为+1或-1的加权或激活来训练深层神经网络(Binarized neuralnetworks:Training deep neural networks with weights and activationsconstrained to+1or-1)计算机研究库(CoRR)(Computer Research Repository(CoRR))、二值化NN的算法[在线]、2016年3月、[平成28年10月5日检索]<URL:http://arxiv.org/pdf/1602.02830v3.pdf>

非专利文献2：Mohammad Rastegari、Vicente Ordonez、Joseph Redmon、AliFarhadi“XNOR-网络:使用二进制卷积神经网络的ImageNet分类(XNOR-Net:ImageNetClassification Using Binary Convolutional Neural Networks)”计算机视觉及模式识别(Computer Vision and Pattern recognition)、“二值化NN的算法”、[在线]、2016年3月、[平成28年10月5日检索]<URL:https://arxiv.org/pdf/1603.05279v4>