[发明专利]一种基于切分循环神经网络的序列模型建立方法

摘要

本发明提供了一种基于切分循环神经网络的序列模型建立方法，本发明的SRNN通过对RNN整体结构改进，使其可以并行训练，SRNN的速度相较传统RNN有了较大的提升。本发明的SRNN可以获取序列的高层次信息，例如当层数为3时，最底层的RNN可以获得词汇层次的信息，中间层的RNN可以获得句子层次的信息，最顶层的RNN可以获得段落层次的信息，并且，SRNN将每个RNN都限制在最小子序列的长度，有效地提高了保留序列中重要信息的能力。

主权项

1.一种基于切分循环神经网络的序列模型建立方法，其特征在于，包括如下步骤：步骤S1：输入序列，进行预处理；将输入序列预处理至长度为T的序列X，长度不足T的序列采用末尾补0的策略，长度超过T的序列取前T个字符，则获得输入序列X为：X＝[x1,x2,...,xT]其中x通过多维度表示；步骤S2：选择合适的切分长度与切分次数；根据长度T选择合适的切分长度和切分次数，若T＝nk+1，则取切分长度为n，切分次数为k；步骤S3：将原序列切分成许多最小子序列；将序列X切分成n个子序列N，则每个子序列长度为：这时X表示成：X＝[N1,N2,...,Nn]再将每个子序列切分成n个子子序列，重复这个切分步骤k次，直至得到一个合适长度的最小子序列，得到共k+1层；经过如上切分，最底层的最小子序列的个数为s₀＝n^k，长度为至此，原序列被切分成许多子序列；步骤S4：将RNN作用于每层的最小子序列；步骤S5：获得每个最小子序列的最终状态h。