[发明专利]准循环神经网络

摘要

所公开的技术提供了一种准循环神经网络(QRNN)，其交替跨时间步长并行应用的卷积层，和跨特征维度并行应用的极简主义循环池化层。

主权项

1.一种准循环神经网络(缩写QRNN)系统，运行在众多并行处理核上，其提高了基于神经网络的序列分类任务的训练和推理阶段期间的计算速度，包括：卷积层，包括：卷积滤波器组，用于在输入向量的多个时间序列中的输入向量的一组时间序列上在时间序列窗口对输入向量进行并行卷积；以及卷积向量产生器，用于基于并行卷积同时输出每个时间序列窗口的卷积向量，其中每个卷积向量包括激活向量和一个或更多个门向量中的特征值，并且所述门向量中的特征值是分别按序数位置逐元素应用于激活向量中的特征值的参数；池化层，包括累加器，用于通过在逐序数位置的基础上并发累加卷积向量的分量的特征值，在当前时间序列窗口的状态向量中并行累加特征和的有序集合，其中每个特征和是由累加器根据在为当前时间序列窗口输出的激活向量中的给定序数位置处的特征值，在为当前时间序列窗口输出的一个或更多个门向量中的给定序数位置处的一个或更多个特征值，以及在先前时间序列窗口中累加的状态向量中给定序数位置处的特征和进行累加；输出产生器，用于在每个连续时间序列窗口处顺序输出由池化层池化的状态向量；以及分类器，用于使用由输出产生器产生的连续状态向量来执行序列分类任务。