[发明专利]具有多层结构的BP神经元自适应方法

说明书

技术领域

本发明涉及神经网络硬件实现领域，特别涉及具有多层结构的硬件BP神经网络中单个神经元节点在不同运算阶段的运算以及实现不同学习算法的自适应方法。

背景技术

人工神经网络在智能控制、模式识别等领域中应用广泛，其中BP神经网络的应用最为广泛，BP神经网络的学习算法有多种，以满足不同的应用需求。但是传统的基于通用处理器的软件实现方法存在的主要问题并行程度较低，特别是在嵌入式应用领域，计算速度无法满足现场的实时性需求。神经网络的硬件实现可满足并行计算的要求，但硬件实现存在灵活性差的问题。本发明装置通过对神经元处理器的控制寄存器组进行编程设置，实现三种典型的BP神经网络在神经元节点上的运算。多个神经元处理器串联可实现流水运算，既满足并行计算的要求，又提高了灵活性和适用性。

发明内容

本发明要解决的问题是在嵌入式应用领域，硬件BP神经网络中单个神经元节点在不同运算阶段的运算以及实现不同学习算法的问题。具有可编程的特点，灵活性高，适用性强。

本发明提供的一种可编程硬件的具有多层结构BP神经元自适应方法，硬件部分是由局部数据总线1、专用寄存器组2、控制寄存器组3、运算器4、权值存储器5、误差传递因子存储器6、权值个数计数器7、层数计数器8、训练批次计数器9、微控制器10和外部控制总线11组成。其中专用寄存器组2、控制寄存器组3、运算器4、权值存储器5、误差传递因子存储器6分别与局部数据总线1相连；微控制器10通过微控制信号线L1、L2、L3、L4、L5、L6、L7、L8分别与专用寄存器组2、控制寄存器组3、运算器4、训练批次计数器9、层数计数器8、误差传递因子存储器6、权值存储器5、权值个数计数器7相连；运算器4与权值存储器5之间，运算器4与误差传递因子存储器6之间通过独立的总线相连。

本发明所述的可编程硬件BP神经元处理器12在外部总控制器13的控制下，接收外部数据存储器14的数据，并将计算结果传给外部的激励函数电路15，激励函数输出的结果存储在外部数据存储器14中。

常用的BP神经网络通常由输入层、若干个隐层和输出层构成，每层有若干个神经元节点。其中所述的运算器可以执行输入层、各隐层和输出层单个节点的计算，总层数最多可达8个.其中包括各输入层神经元净输入计算net，输出层误差计算error_o，各隐层误差计算error_h，各层误差传递因子计算δ和各层权值调整量计算ΔW。其中所述的各层权值调整量计算ΔW与具体的学习算法有关，本发明可以实现BP标准算法、附加动量项算法及学习速率自适应调节算法这三种典型的学习算法。

所述的权值存储器用于存放各输入节点到当前计算层该神经元节点的连接权值ω_ij及输出层的期望值d_i，不同层的计算所涉及的权值是不同的，可通过外部存器调入。同时在各层权值调整量计算阶段还用于存放权值调整量ΔW。

所述的误差传递因子存储器用于存储运算器执行误差传递因子计算产生的的误差传递因子δ。

控制寄存器组中由一个控制字寄存器和八个各层神经元个数寄存器构成，其中的控制字寄存器含三类控制信息，包括三位学习算法类型编码、四位BP网络层数以及一位工作方式位。每个神经元个数寄存器存放一层的的神经元个数。工作方式位用于指示运算器是工作在正常运算状态还是工作在训练状态。通过对控制寄储器组的编程设置，可满足不同规模、不同学习算法的选择。

所述的专用寄存组由四个寄存器构成，每个寄存器存储计算过程中要使用的一个参数，其中包括学习速率η、附加动量算法中的附加动量系数α，学习速率自适应调节算法中的学习速率调整因子β(0＜β＜1)，γ(γ＞1)。

所述的权值个数计数器用于统计运算器在各层运算的循环运算次数。当权值计数器为零时，本阶段的运算结束。

所述的层数计数器用于统计运算器当前计算的是哪一层的数据。当层数计数器为零时，整个计算完毕。