[发明专利]用于神经网络中信号转换的系统和方法

说明书

公开了一种用于神经网络中信号转换的系统和方法。通过构建一种激活函数实现神经网络中信号转换，使该激活函数兼具ReLu激活函数和Sigmoid激活函数的优势，同时通过引入迭代逼似的实现方式，使得该激活函数无需进行幂运算，算法更为简单，从而更容易在电路中实现。

技术领域

本发明涉及神经网络计算领域，具体涉及一种用于神经网络中信号转换的系统和方法。

背景技术

生物神经网络启发了人工神经网络的发展，其是一种模拟人脑的神经网络以期能够实现人工智能的机器学习技术，从而在图像识别和语音识别等诸多领域取得了很好的效果。在多层的神经网络中，上一层的神经元信号，在输入到下一层之前需要经过激活函数的激活，激活函数对输入信号进行非线性变换，使其能够学习和执行更复杂的任务。

在现有技术中，激活函数的种类有很多，包括Sigmoid、Tanh、修正线性单元(ReLU)、Leaky ReLU等。Sigmoid函数是出现较早的激活函数，其表达式为：sigmoid(x)＝1/(1+e^-x)。也即，其可以将任意一个输入信号均输出在0到1之间，输出范围有限，基于梯度的优化方法会更加稳定。但是其缺点是需要进行幂运算和除法运算，计算成本高，且不是以0为中心，会导致收敛速度下降，且存在梯度消失的问题。Tanh，也即双曲正切函数，解决了Sigmoid不以0为中心的问题。ReLU函数是目前设计神经网络时使用最广泛的的激活函数，其表达式为：ReLU＝max(0，x)。ReLU函数不需要进行幂运算，因此运算速度快、复杂度低，且ReLU会使一部分神经元的输出为0，也即死亡神经元，但它同时造成了网络的稀疏性，从而使得时间和空间的复杂度更低；但是其输出值没有界限，有计算溢出的可能性。Leaky ReLU则改善了ReLU函数的当x小于0时，输出全部为0问题。

发明内容

有鉴于此，本发明提出了一种用于神经网络中信号转换的系统和方法。通过构建一种激活函数来实现神经网络中的信号转换，该激活函数兼具ReLu激活函数和Sigmoid激活函数的优势，同时通过引入迭代近似的实现方式，使得该激活函数无需进行幂运算，算法更为简单，从而更容易在电路中实现。

根据本发明的第一方面，提出了一种用于神经网络中信号转换的系统，包括：

处理模块，被配置为当输入信号处于第一区间内时，维持输出信号为固定值；当所述输入信号处于第二区间内时，调节所述输出信号以使得所述输出信号与所述输入信号满足预设的非线性关系，其中所述非线性关系为所述输出信号随着所述输入信号的增加呈渐近式非线性增加并趋于收敛。

进一步地，所述处理模块被配置为通过指数计算方式实现所述非线性关系。

进一步地，所述处理模块被配置为通过迭代逼近方式实现所述非线性关系。

进一步地，当所述输入信号小于零时，所述输入信号处于所述第一区间，所述输出信号为零；当所述输入信号不小于零时，所述输入信号处于所述第二区间。

进一步地，所述处理模块包括：

第一处理模块，被配置为将所述输入信号经整流并放大后产生中间信号；以及

第二处理模块，被配置为对所述中间信号进行非线性处理，以产生所述输出信号。

进一步地，所述第一处理模块包括：

整流模块，被配置为对所述输入信号进行整流以允许处于所述第二区间的输入信号通过；

增益模块，被配置为接收所述整流模块输出的第一信号，并产生与所述第一信号成比例关系的信号，以放大所述输入信号。

进一步地，所述整流模块包括第一二极管。

进一步地，所述增益模块包括：