[发明专利]一种字符级的基于嵌套深度网络的文本分类方法

权利要求书

1.一种字符级的基于嵌套深度网络的文本分类方法，其特征在于：包括以下步骤：

S1、构造字符向量矩阵表：

假设C为文本中所用的字符集，构造一个字符向量矩阵Q∈R^|C|×|C|，记录下每一个字符对应的行编号；

S2、短文本预处理；

S3、改进Resnet提取高维序列特征；

S4、LSTM网络分类；

所述步骤S2短文本预处理分为两步，具体步骤如下：

S21、矩阵转换：

根据短文本T中的字符以及字符向量矩阵表Q，输出文本向量空间I∈R^l×|C|，l为文本T的总字符数；

S22、矩阵裁剪填充：

对文本向量空间I进行裁剪填充，以适应嵌套深度网络的输入；

所述步骤S3改进Resnet提取高维序列特征的具体步骤如下：

S31、Resnet特征提取：

Resnet采用50层的版本，去除其上层的全链接层和分类层，最后输出Resnet网络的中间特征；

S32、最大值池化：

在得到N个特征图后，对每个特征图的行向量进行最大值池化，只保留响应最大的特征值；

S33、特征重序列化：

对特征图进行重新序列化，以保持其时序性，适应LSTM的运算，最终输出多个序列化的特征图。

2.根据权利要求1所述的一种字符级的基于嵌套深度网络的文本分类方法，其特征在于：所述步骤S4LSTM网络分类的具体计算步骤如下：

S41、门gate计算；

每个Cell有三个门gate：输入门inputgate、遗忘门forgetgate、输出门outputgate，计算如下：

i_t＝g(W_×iM_S_t+W_hih_t-1+b_i)；

f_t＝g(W_×fM_S_t+W_hfh_t-1+b_f)；

o_t＝g(W_×oM_S_t+W_hoh_t-1+b_o)；

其中，h_t-1为上一个单元的输出，当t-1不存在时，h_t-1初始化0，W为各个门gate的权重向量，b为各个gate的偏移量，g为元素级的sigmoid函数；

S42、输入变换；

除了三个门gate之外，每个Cell均拥有一个状态c，需要通过计算将输入转换成对应Cell的状态量，具体计算如下：

c_in_t＝tanh(W_×cM_S_t+W_hch_t-1+b_{o_in})

其中，W为当前Cell的状态计算的权重向量，b为当前Cell的状态计算的偏移量，tanh为元素级的tanh函数；

S43、状态更新；

在计算完所有的gate变量和当前输入的状态量后，对当前Cell状态进行更新以及计算当前Cell的输出，具体计算如下：

c_t＝f_t*c_t-1+i_t*c_in_t；

h_t＝o_t*tanh(c_t)；

其中，c_t为当前Cell的状态量，h_t为当前Cell的输出；

S44、分类；在经过了所有Cell单元的计算之后，将最后的Cell的输出h_t输入到Softmax函数中，得到最后的分类结果。

3.根据权利要求2所述的一种字符级的基于嵌套深度网络的文本分类方法，其特征在于：步骤S4所述LSTM网络的训练以Softmax函数为指导，通过采用最小化交叉熵代价函数获取当前网络相对于训练集的误差，对于训练样本T⁽ⁱ⁾，其标签y⁽ⁱ⁾∈{1,2,…,k},k为所有的标签的数量以及其估计概率为其代价函数为：

其中，1{condition}为二类函数，当condition为真时，其为1，否则为0；

取得误差后，采用随机梯度下降SDG将误差反向传播以更新网络中的参数，最终得到最优化的网络。