[发明专利]一种整合多种激活函数的神经元电路

说明书

技术领域

本发明涉及神经网络技术领域，尤其涉及一种整合多种激活函数的神经元电路。

背景技术

人工神经网络(Artificial Neural Network，ANN)，是20世纪80年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，并按不同的连接方式组成不同的网络。在工程与学术界也常简称为神经网络或类神经网络。

神经网络是一种运算模型，由大量的节点(或称神经元)之间相互连接构成，每个节点代表一种特定的输出函数，也称为激励函数；每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式、权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。随着深度学习的快速发展，激活函数的种类也逐渐丰富起来。目前，在机器学习领域广泛应用的激活函数有Sigmoid(S型生长曲线)函数、Tanh(双曲正切)函数、ReLU(修正线性单元)函数、Sign(符号)函数等等。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

目前还没有一种能够具有多个输入并对每个输入进行单独权值控制，以及整合多种激活函数的神经元电路。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种整合多种激活函数的神经元电路。所述技术方案如下：

一种整合多种激活函数的神经元电路，包括输入与权值模块、求和与函数模块、函数调整模块；

所述输入与权值模块，具有多个电压型输入，并具有电流输出，能够用于接受输入，并对输入进行权值调整；

所述求和与函数模块，耦接到所述输入与权值模块的输出端，能够实现电压输出，并用于对输入实现求和，以及进行激活函数处理；

所述函数调整模块，耦接到所述求和与函数模块的输出端，用于对电压波形进行调整，以实现多种激活函数。

进一步的，所述输入与权值模块还包括输入电路和权值控制电路；

所述输入电路，用于将输入电压转化为电流；

所述权值控制电路，用于实现对输入的权值大小以及输入正负的调整。

进一步的，所述输入电路具有多个电压型输入，每一个电压型输入同时接到一个NMOS管和一个PMOS管的栅极。

进一步的，所述权值控制电路包括：

存储器，用于存储每个输入对应的权值；

数模转换器，用于将存储器中存储的权值转化为相应的模拟电压；

权值MOS管，用于根据数模转换器输出在权值MOS管栅极上的模拟电压来改变工作状态，实现输入的权值幅度调整；

正向开关，与所述权值MOS管耦接，用于输入选择正向输入通路；

符号处理电路，具有第一输入端与第一输出端，其中，所述第一输入端与所述正向开关耦接，所述第一输出端的输出量为电流，所述第一输出端用于将输入电流反向后输出，以实现输入电流的符号处理；

负向开关，与所述权值MOS管耦接，用于输入选择负向输入通路。

进一步的，所述求和与函数模块，包括以二极管方式连接的两个晶体管。

进一步的，所述求和与函数模块，还包括第二输入端与第二输出端，所述第二输入端的输入量为电流，所述第二输出端的输出量为电压。

进一步的，所述求和与函数模块在不需要电压转换直接实现所需激活函数时，所述第二输出端的输出电压量为最终输出。

进一步的，所述函数调整模块，包括电压波形调整模块，用于对所述求和与函数模块输出的电压波形进行调整，以实现多种形式的激活函数。

进一步的，所述电压波形调整模块还包括ReLU函数模块，所述ReLU函数模块由二极管或MOS管实现，其将所述求和与函数模块输出的电压波形进行调整，实现类ReLU函数输出。

进一步的，所述电压波形调整模块还包括Sign函数模块，所述Sign函数模块用开关电路实现，其将所述求和与函数模块输出的电压波形进行调整，实现类Sign函数输出。

本发明实施例提供的技术方案带来的有益效果是：