[发明专利]一种文档主题增强系统、文本情绪预测系统和方法

权利要求书

1.一种文档主题增强系统，其特征在于，所述文档主题增强系统包括：

主题获取模块，用于通过神经主题模型，获取文档的主题向量；

单词向量转化模块，用于将文档中各个单词转化为向量；

上下文向量转化模块，用于通过自注意力网络，将文档中各个单词的向量转化为各自的上下文向量；

文档向量获取模块，用于通过主题注意力机制，将文档中各个单词的上下文向量与该文档的主题向量融合，得到该文档的向量；

文档特征向量获取模块，用于通过融合门网络，将文档的向量与该文档的主题向量再次融合，得到该文档的特征向量。

2.如权利要求1所述的文档主题增强系统，其特征在于，所述神经主题模型采用基于变分自编码器的神经主题模型，分为编码器和解码器两个部分，所述编码器用于将文档的词袋向量转化为主题概率分布，所述解码器用于将主题概率分布转化为重构的文档词袋向量。

3.如权利要求2所述的文档主题增强系统，其特征在于，所述解码器包括依次串联的：1个主题嵌入层、1个主题单词嵌入层和1个softmax层；

所述主题嵌入层将文档的主题概率分布向量θ映射为主题向量v_t＝W^(te)θ；

所述主题单词嵌入层和softmax层将文档主题向量v_t映射为重构的文档词袋向量

其中，表示主题嵌入层的可学习参数，d_t表示主题嵌入层输出的维度，K表示神经主题模型中的主题个数；表示主题单词嵌入层的可学习参数，V表示训练文档组成的语料库对应的字典长度。

4.如权利要求1所述的文档主题增强系统，其特征在于，所述自注意力网络采用多维自注意力网络，包括以下处理：

首先，各个单词的向量x_i被1个全连接层转化到隐藏状态h_i＝tanh(W^(h)x_i+b^(h))；

其次，对于第i个单词，计算其与该文档中各个单词之间的对齐分数f(h_i,h_j)＝σ(W^(s)h_i+U^(s)h_j+b^(s))；

然后，基于f(h_i,h_j)计算该文档中各个单词对于合成第i个单词的上下文向量的权重

最后，计算第i个单词的上下文向量

其中，表示全连接层可学习的参数；σ(·)表示ELU激活函数，表示多维自注意力机制的可学习参数；N代表文档中包含的单词总数；⊙表示向量元素对应相乘，d_W表示单词的向量x_i的维度，d_t表示文档的主题向量的维度。

5.如权利要求1所述的文档主题增强系统，其特征在于，所述主题注意力机制包括以下处理：

首先，将待预测文档的主题向量v_t转化为隐藏状态h_t＝W^(t)v_t+b^(t)；

其次，计算h_t与该文档各个单词之间的对齐分数

然后，将f(z_i,h_t)归一化，得到各个单词对于合成文档向量的权重

最后，合成文档向量

其中，表示主题注意力机制的可学习参数，表示第i个单词的上下文向量，N代表文档中包含的单词总数，d_t表示文档的主题向量的维度。