[发明专利]一种基于Highway和DC的新型双向LSTM神经网络构建方法

权利要求书

1.一种文本分类方法，其特征在于，将待分类的文本数据输入至预构建并训练好的基于Highway和DC的双向LSTM神经网络中，获取文本分类结果；

其中，所述基于Highway和DC的双向LSTM神经网络的构建方法包括：

构造双向LSTM神经网络BiLSTM；

根据BiLSTM构造基于DenselyConnection的双向LSTM神经网络DC-BiLSTM；

向DC-BiLSTM中引入Highway，得到基于Highway和DC的双向LSTM神经网络；

所述BiLSTM的构造方法包括以下步骤：

给定任意长度的输入序列S＝{w₁,w₂,···,w_s}，

单层LSTM的隐状态记为h＝[h₁,h₂,···,h_s]，

在t时刻1≤t≤s，序列中第t个字符输入到LSTM中，则t时刻的隐状态由下式得到：

h_t＝lstm(h_t-1,e(w_t))   (1)

上式中，w₁,w₂,…,w_s这一串字符组成S序列，s表示输入序列的字符总数，w_t表示输入序列S中的第t个字符，1≤t≤s，符号lstm表示LSTM单元，w_s表示最后一个输入字符，h_s表示最后一个字符所对应的隐状态，特别地，h₀＝0；

定义序列第l层BiLSTM在t时刻的隐状态：

将前向隐状态和后向隐状态进行迭代：

前向LSTM隐状态：

后向LSTM隐状态：

由下式迭代得到：

特别地，分别表示第l层前向和后向LSTM在s时刻所得的隐状态，e(w_t)∈R^m表示w_t经Word-Embedding后的结果，h_t-1∈R^d表示LSTM单元在t-1时刻的隐状态，e(w_t)与h_t-1为LSTM单元在t时刻的输入项；

所述DC-BiLSTM的构造方法包括以下步骤：

在DC-BiLSTM网络中，若对t时刻第l层的输入记为i_t^l，则t时刻第一层网络的输入记为：

输出记为：

从第二层开始，每一层神经网络的输入都是级联所有先前层输出的结果，有：

式中，表示t时刻第k层神经网络的输出，k＝0,1,2,...l-1，特别地，

则t时刻第l层的前向隐状态输出记为：

后向隐状态输出记为：

所述Highway的引入方法包括以下步骤：

在t时刻，Highway的输出记为：

y_t＝h_t⊙T(w_T,x_t)+xt⊙(1-T(w_T,x_t))  (14)；

T(w_T,x_t)表示变换门，其表达式如下：

T(w_T,x_t)＝sigm(w_Txt+b_T)  (15)；

其中，h_t表示当前层的输出，x_t表示上一层的输出，w_T表示权值矩阵，b_T表示偏置向量；

在DC-BiLSTM中，t时刻第l层网络的输入i_t^l中的应用Highway，有：

以上式中，h_t^l-1表示t时刻l-1层网络的输出，表示t时刻l-2层及之前所有层的输出的级联，⊙表示元素对应位相乘操作，sigm表示sigmoid激活函数。