[发明专利]动态嵌入投影门控的多类别多标签文本分类模型及装置

权利要求书

1.一种动态嵌入投影门控的多类别多标签文本分类模型，用于对输入文本进行文本分类，其特征在于，包括：

预处理层，用于对所述输入文本进行预处理得到预处理文本；

词嵌入层，用于通过预训练分布式词向量对所述预处理文本进行初始化从而获取包含原始信息的第一词嵌入矩阵；

词嵌入动态控制层，用于根据所述第一词嵌入矩阵提取融合了该第一词嵌入矩阵上下文信息的转换信息，并基于动态嵌入投影门控制所述原始信息与所述转换信息形成第二词嵌入矩阵；

细粒度信息增强层，用于通过多核多通道卷积神经网络对所述第二词嵌入矩阵进行语义编码获取细粒度信息增强的增强文本表征；

语义信息分类层，用于通过全连接神经网络将所述增强文本表征映射至样本标记空间，从而输出类别概率分布并完成所述文本分类。

2.根据权利要求1所述的动态嵌入投影门控的多类别多标签文本分类模型，其特征在于：

其中，所述词嵌入动态控制层具有卷积核大小为r、通道数为h的一维卷积神经网络，该一维卷积神经网络用于根据所述第一词嵌入矩阵获取所述转换信息T＝[t₁,t₂,...t_n]^Τ，该转换信息T可以通过计算所述输入文本每个特定位置i的位置转换信息t_i，i＝1,2,…,n得到，即：

t_i＝[t₁,t₂,...t_h]

t_j＝f(g(W_j⊙X_i:i+r)+b_j)j＝1,2,...h

式中，t_j代表所述特定位置i的第j维特征，⊙为矩阵之间对应元素的点积操作，g为矩阵各元素之间的求和函数，f为ReLU激活函数，W_j和b_j分别代表所述一维卷积神经网络第j个通道的权重矩阵和偏置项，

所述动态嵌入投影门分为负责控制所述转换信息T流动的转换门G_t以及负责控制所述原始信息X流动的传送门G_c，即：

G_t＝σ(XW_proj+b_proj)

G_c＝1-G_t

式中，W_proj和b_proj分别代表所述动态嵌入投影门的权重矩阵和偏移向量，σ为sigmoid激活函数，

所述词嵌入动态控制层通过所述转换门G_t以及所述传送门G_c将所述原始信息X以及所述转换信息T结合得到所述第二词嵌入矩阵E：E＝X⊙G_c+T⊙G_t。

3.根据权利要求1所述的动态嵌入投影门控的多类别多标签文本分类模型，其特征在于：

其中，所述多核多通道卷积神经网络的卷积核大小分别为k₁、k₂、k₃，通道数为l，

所述第二词嵌入矩阵输入到所述多核多通道卷积神经网络之后，首先输出三个不同粒度的n-gram文本特征图，该n-gram文本特征图的特征图维度分别是(n-k₁+1)×l、(n-k₂+1)×l、(n-k₂+1)×l，其次沿着所述输入文本的方向分别对每个所述文本特征图进行最大化池操作从而得到维度为l的三个文本表征，最后将三个所述文本表征进行拼接从而得到所述增强文本表征。