[发明专利]作为具有记忆的神经元的混合增量调制器

说明书

公开了作为具有记忆的神经元的混合增量调制器。描述了可以用作神经网络中的可变阈值神经元的混合增量调制器。类似于增量调制器，混合增量调制器表现出对调制器的先前状态的记忆，并且从加权电路接收乘积和信号并生成表示乘积和信号的经量化的输出流，该乘积和信号潜在地包括激活函数和偏移。利用适当选择的部件，混合增量调制器将反馈的积分函数与增益函数分离。此外，可以选择增益，并且输出模式的特性可以被调整成包括输入和输入变化率的任意组合。与许多现有技术的神经元相比，本方法的混合增量调制器的使用提供了更简单的解决方案和更好的性能。

相关申请的交叉引用

本申请要求于2019年3月18日提交的临时申请第62/819,868号的优先权，其全部内容通过引用并入本文。

技术领域

本发明一般涉及人工智能(AI)网络，并且更特别地涉及这样的AI网络中的具有先前状态的记忆的神经元。

背景技术

神经网络(NN)是对诸如手写识别、图像识别和语音分析的问题的人工智能(AI)解决方案的基础。某些形式的AI例如，语音或话音分析要求AI系统对跨时间分布的信号具有一定的了解。因此，话音分析要求AI系统能够将音频信号在时间上的演变与某些学习的模板进行比较。

本领域中已知的一类神经网络——通常被称为循环神经网络(RNN)——通过在神经网络的一层或更多层中提供反馈来产生分析随时间的演变的能力。图1示出了一种类型的AI网络的实现，如现有技术中已知的规范Elman RNN。如本领域技术人员所知，在诸如Elman或Jordan网络的RNN的某些实现中，隐含层h的状态取决于该隐含层的先前状态，即，其具有其上次值的记忆。

例如，在图1的网络100中，可以看到，除了来自神经元X₁至X_L的当前输入之外，神经元Y₁还接收来自依赖于神经元Y₁的先前状态的来自神经元U₁的输入。如在图1中看到的，神经元Y₂到Y_L中的每个神经元(Y神经元通常被称为“隐含层”)也分别从神经元U₂到U_L接收关于其自身的先前状态的输入。描述网络的等式使用离散延迟算子z^-1通过对当前状态的z域运算引入了这样的先前状态变量。

该时间依赖性足以允许网络识别信号随时间的演变，使得例如，网络可以识别话音或手写，或者检测网络流量或入侵检测系统(IDS)中的异常。其他方法包括：时延神经网络(Time Delay Neural Network)，其也提供了延迟版本的神经网络的输入；以及长短期记忆网络(LSTM)，其是深度学习领域中使用的RNN架构。

近来，另一种方法已被证实起作用。除了明确地将神经元的先前状态反馈给自身之外，神经元的阈值可以不是恒定的，而是可以取决于神经元输出而改变，并且在信号移除之后恢复回稳定态。这有时被称为“脉冲神经网络”，其中神经元阈值随输入而升高，并且然后以一定的时间常数衰减回基线水平。

期望具有一种实现在神经网络中例如在脉冲神经网络中的变化阈值的神经元的简单方法。

发明内容

本文中描述了可以在神经网络中的可变阈值神经元中使用的混合增量调制器。

一个实施方式描述了一种用在神经网络中的神经元，该神经元包括：加权电路，其被配置成接收多个输入信号，并且通过对输入信号中的每个输入信号进行加权并将经加权的输入信号加在一起来产生乘积和信号；以及调制器电路，其被配置成接收乘积和信号并且产生表示乘积和信号的经量化的输出信号。

在另一实施方式中，调制器电路还包括：差分元件，其被配置成确定乘积和信号与经滤波的经量化输出信号之间的差；量化器，其被配置成基于乘积和信号与经量化的输出信号之间的差来产生经量化的输出信号；以及滤波器网络，其被配置成接收经量化的输出信号并产生经滤波的经量化输出信号。