[发明专利]使用全连接层的神经网络执行块

说明书

用于神经网络的系统和部件。公开了一种执行块和使用该执行块的系统架构。执行块使用全连接的层堆栈，且一个输出是对时间序列的预测，而另一个输出是可用于确定从输入到执行块的残差的回传。执行块使用波形发生器子单元，其参数可被明智地选择，从而约束所产生的波形的可能集合。通过这样做，执行块专门化其函数。使用执行块的系统在提供时间序列问题的解决方案方面已经显示出比现有技术更好。

技术领域

本发明涉及计算机技术和机器学习。更具体地说，本发明涉及一种基于神经网络的构建块结构和使用该构建块(适合于与时间序列问题有关的解决方案)的系统。

背景技术

深度学习的应用最近取得了显著的成功，这是由于发明了或采用了成功地编码领域特定的关于问题本质的归纳偏差的体系结构。示例包括图像处理领域中卷积神经网络(CNN)堆栈的发明、递归神经网络(RNNs)的发明和使用、语言建模中的注意机制及其与CNN的组合，以及少量镜头学习中原型网络的发明。

相比之下，目前机器学习文献中与时间序列预测相关的一个重要部分集中在将现成的深度学习组件(主要是RNN、CNN及其组合的复制品)应用于时间序列预测任务上。这通常是在没有集中精力编码神经架构中的时间序列特定领域知识的情况下完成的。

基于以上所述，需要一种新颖的架构，它不是现成的解决方案，而是将新的概念引入该领域。此外，优选的是，新的体系结构和系统优于当前用于解决时间序列问题的众所周知的系统和方法。

发明内容

本发明提供用于神经网络的系统和组件。公开了一种执行块和使用该执行块的系统架构。执行块使用全连接的层堆栈，且一个输出是对时间序列的预测，而另一个输出是可用于确定从输入到执行块的残差的回传。执行块使用波形发生器子单元，其参数可被明智地选择，从而约束所产生的波形的可能集合。通过这样做，执行块专门化其函数。使用执行块的系统在提供时间序列问题的解决方案方面已经显示出比现有技术更好。

在第一方面，本发明提供一种用于神经网络系统的执行块，执行块包括：

-神经网络节点的全连接层的堆栈，所述堆栈具有由第一并行分支和第二并行分支并行接收的输出；

-所述第一并行分支包括：

神经网络节点的接收所述输出的第一全连接层和接收所述第一全连接层的输出的第一波形发生器子单元；

-所述第二并行分支包括：

神经网络节点的接收所述输出的第二全连接层和接收所述第二全连接层的输出的第二波形发生器子单元；

其中

-所述第一并行分支的输出是所述执行块的基函数的合成；

-所述第二并行分支的输出用于形成对所述执行块的输入的残差。

在第二方面，本发明提供一种用于时间序列预测的神经网络系统，该系统包括：

多个基本堆栈，所述基本堆栈与包括至少一个执行块的每个基本堆栈依次耦合，每个基本堆栈的输出被添加到所述神经网络系统的累积输出中；

其中

-至少一个执行块包括：

-神经网络节点的全连接层的堆栈，所述堆栈具有由第一并行分支和第二并行分支并行接收的输出；

-所述第一并行分支包括：

神经网络节点的接收所述输出的第一全连接层和接收所述第一全连接层的输出的第一波形发生器子单元；

-所述第二并行分支包括：

神经网络节点的接收所述输出的第二全连接层和接收所述第二全连接层的输出的第二波形发生器子单元；