[发明专利]循环神经网络中的勒让德存储器单元

说明书

训练具有使用勒让德存储器单元方程确定的连接权重的神经网络架构，同时可选地保持所确定的权重固定。网络可使用尖峰或非尖峰激活函数，可与其他神经网络架构堆叠或循环地耦合，并且可在软件和硬件中实现。本发明的实施方案提供了用于模式分类、数据表示和信号处理的系统，其使用跨越滑动时间窗口的正交多项式基函数进行计算。

技术领域

本发明总体涉及人工智能和深度学习，并且更特别地涉及可在软件和硬件中实现的循环神经网络架构。本申请要求2019年3月6日提交的临时申请号62/814,767和2019年5月6日提交的临时申请号62/844,090的优先权，上述的临时申请的内容以引用的方式并入本文。

背景技术

深度学习确实地为人工智能的领域带来了许多快速且深刻的进步。由于该深度学习的黑盒性质，为了在大量的重要问题上达到现有技术表现，既不需要具有领域专业知识，也不需要理解神经网络的内部功能，包括：图像辨识、语音辨识、自然语言理解、问答和语言翻译(参见Y.LeCun、Y.Bengio和G.Hinton,Deep learning.Nature,第521卷,第7553期,第436至444页，2015年5月)。基本配方如下：安装用于深度学习的软件库、选择网络架构、设定其超参数，并且然后可使用与硬件(例如，图形处理单元)一样多的数据训练。

深度学习架构，诸如多层感知器，擅长构建静态矢量函数，该静态矢量函数通过自动地发现与手头任务最相关的“潜在表示”(即，隐藏特征)来推广到新示例。然而，该深度学习架构的优化过程的不透明性就像一把双刃剑：尽管只需最少手动工程就能容易地将深度学习应用到许多问题，但是即使是专家也不清楚大多数超参数变化将提前对整体性能产生什么影响。

尽管取得了突破，但是该领域很清楚前馈架构无法及时学习任意地跨越输入数据的关系，而这对于涉及视频、语音和具有长期时间依赖性的顺序时间序列数据的其他任务又是必要的。无论网络的深度如何，前馈网络始终将有某种有限输入响应，这会在网络的状态内留下对先前输入的有限“记忆”。换句话说，可用这种网络计算的函数无法访问超出该网络的深度的输入。克服该问题的最一般的解决方案是将循环连接引入到网络中，从而将当前状态信息传输回该网络本身，由此允许网络捕获有关先前输入的信息并且在未来再用该信息。这些网络就称为循环神经网络(RNN)。

RNN是已知如何将其物理地实现的计算上最强力的神经网络种类。通过使用循环连接来随时间而保存状态信息，由此向网络赋予内部存储器，RNN能够计算在由深度前馈网络提供的计算类之外的函数：动态系统，即，状态根据其输入的历史来非线性地演化的函数。这使得网络能够利用输入中沿着任意时间尺度跨越时间的模式。

具体地讲，RNN用作在离散时间域中(参见A.M.和H.G.Zimmermann,Recurrent neural networks are universal approximators,In InternationalConference on Artificial Neural Networks.Springe,第632至640页,2006年9月)和连续时间域中任何有限维度、因果、动态系统的通用逼近器(参见K.Funahashi和Y.Nakamura,Approximation of dynamical systems by continuous time recurrent neuralnetworks.Neural Network,第6卷,第6期,第801至806页,1992年11月)。在实践中，RNN通常是用于涉及顺序输入的任务(诸如辨识语音、翻译语言、处理视频、生成字幕和对人类情感进行解码)的最佳模型。