[发明专利]一种实现S型激活函数的电路

说明书

本发明公开了一种实现S型激活函数的电路，通过输入单元、中间级电路单元、输出单元相互连接构成实现电路，通过调节输入单元中可调节电阻实现对S型激活函数的激活梯度及偏移量的控制，同样通过调节输出单元中可调节电阻实现对S型激活函数的阈值的控制，从而实现S型激活函数。

技术领域

本发明属于电路设计技术和应用领域，特别涉及一种实现S型激活函数的电路。

背景技术

人工神经网络的机器学习与类脑计算研究成为计算机和电子信息领域的研究热点。人工神经网络由大脑抽象而来，具有简单的数学表达。此外，它的另一个特点是具有非线性激活函数，如Sigmoid函数、双曲正切函数、ReLU函数等。Sigmoid函数被称为S型激活函数，在物理建模上最接近生物神经元，具有连续、光滑、单调和良好的对称性。S型激活函数为单调递增函数，相较于双曲正切函数，它具有正阈值区间(0，1)。在激活函数的使用中，它的阈值、激活梯度和偏移量会根据需要做出改变，因此通过调节电路元件值控制其自身参数是必要的。S型激活函数的阈值表示其最大的幅值区间；S型激活函数的激活梯度表示各神经元在外刺激下的响应速度：激活梯度大于1表示神经元具有快速的响应；激活梯度等于1表示神经元具有正常的响应；激活梯度小于1表示神经元具有缓慢的响应；S型激活函数的偏移量表示其向左或向右移动的幅度。

然而，在硬件实现方面，利用MCU、DSP、FPGA等数字电路平台实现S型激活函数需要消耗较多的硬件资源，因此，利用模拟电路尤其是无乘法器模拟电路实现S型激活函数对于神经形态电路的开发有重要意义。

发明内容

发明目的：本发明的目的是提供一种实现S型激活函数的电路，通过输入单元、中间级电路单元、输出单元相互连接构成实现电路，仅需通过调节可调节电阻达到控制阈值、激活梯度、偏移量的方式，实现S型激活函数。

技术方案：本发明提供的实现S型激活函数的电路，包含输入单元、中间级电路单元、输出单元；

所述输入单元用以进行数据信号输入，该输入单元包含可调节电阻Rg、可调节电阻Rμ，可调节电阻Rμ用以实现对数据信号的偏移量的控制，将数据信号进行放大计算得出首次放大信号，同样通过可调节电阻Rμ控制首次放大信号的偏移量，同时可调节电阻Rg用以实现对首次放大信号的激活梯度的控制，将首次放大信号通过可调节电阻Rg传输至中间级电路单元；

所述中间级电路单元用以接收首次放大信号，将首次放大信号进行镜像放大计算得出双曲正切函数信号，首次放大信号实现对双曲正切函数信号的激活梯度的控制，同时实现对双曲正切函数信号的偏移量的控制，将双曲正切函数信号继续进行放大计算，得出二次双曲正切函数信号，首次放大信号同样控制二次双曲正切函数信号的偏移量、激活梯度，将二次双曲正切函数信号传输至输出单元；

所述输出单元接收用以接收二次双曲正切函数信号，该输出单元包括可调节电阻RA1、可调节电阻RA2，可调节电阻RA1、可调节电阻RA2用以实现对二次双曲正切函数信号的阈值的控制，将二次双曲正切函数信号进行最终放大计算得到S型激活函数信号，因此，首次放大信号实现对S型激活函数信号的激活梯度、偏移量的控制，同时，可调节电阻RA1、可调节电阻RA2实现对S型激活函数信号的阈值的控制。

有益效果：本发明与现有技术相比，其显著特点是通过输入单元、中间级电路单元、输出单元相互连接构成实现电路，通过调节输入单元中可调节电阻实现对S型激活函数的激活梯度及偏移量的控制，同样通过调节输出单元中可调节电阻实现对S型激活函数的阈值的控制，从而实现S型激活函数。

附图说明

图1是本发明的电路原理图；

图2A为当RA1＝300kΩ、RA2＝20kΩ、Rg＝0.26kΩ和Rμ＝+∞kΩ(Rμ断开)时，vi-Sigmoid(vi)平面上实现标准S型激活函数的Multisim电路仿真相图；