[发明专利]一种基于切分循环神经网络的序列模型建立方法

说明书

本发明提供了一种基于切分循环神经网络的序列模型建立方法，本发明的SRNN通过对RNN整体结构改进，使其可以并行训练，SRNN的速度相较传统RNN有了较大的提升。本发明的SRNN可以获取序列的高层次信息，例如当层数为3时，最底层的RNN可以获得词汇层次的信息，中间层的RNN可以获得句子层次的信息，最顶层的RNN可以获得段落层次的信息，并且，SRNN将每个RNN都限制在最小子序列的长度，有效地提高了保留序列中重要信息的能力。

技术领域

本发明涉及人工智能领域，具体地涉及一种基于切分循环神经网络的序列模型建立方法。

背景技术

随着人工智能与计算机硬件的发展，循环神经网络由于可以提取序列中的词序等深层信息，被广泛应用于如自然语言处理、语音识别等序列模型中，使性能较传统模型相比得到了大幅度提升。循环神经网络的结构如图1所示，其中图中序列长度为8，其中下方的x代表每一时刻的输入，若是自然语言处理任务，则x代表字或词，若是语音识别任务，则x代表音素。A代表循环单元，可以是SimpleRNN，GRU，LSTM等。I代表初始状态，通常设为0。h代表每一时刻的隐藏状态，若是输出一个序列，则保留每一时刻的h；若输出一个向量，则通常保留最后一个时刻的h作为序列的特征表示。RNN网络中，每一时刻需要等待上一时刻的输出作为这一时刻的输入，用公式可表示如下；

h_t＝f(h_t-1,x_t)

其中f函数可以是简单的tanh函数或是复杂的如GRU，LSTM等门控单元，若取简单的tanh函数，则A为SimpleRNN。

h_t＝tanh(Wh_t-1+Ux_t+b)

若取更复杂的门控单元，则GRU运算为：

r_t＝σ(W_rh_t-1+U_rx_t+b_r)

z_t＝σ(W_zh_t-1+U_zx_t+b_z)

LSTM运算为：

i_t＝σ(W_ih_t-1+U_ix_t+b_i)

o_t＝σ(W_oh_t-1+U_ox_t+b_o)

f_t＝σ(W_fh_t-1+U_fx_t+b_f)

循环神经网络有多种应用，有多对一，多对多等等。多对一的典型应用是文本分类，即多个单词作为输入，一个最终状态作为输出。取输入的文本作为输入，每一个单词作为输入x，将RNN的最终状态h作为文本的特征表示，在其后加softmax层，即可文本分类。多对多的典型应用是翻译、自动摘要等，可称为sequence to sequence模型。例如英法翻译，取第一个RNN作为编码器，其最终状态h作为英文句子的特征表示，并将其作为第二个RNN解码器的初始状态并进行解码，得到最终的法语句子，如图2所示。