[发明专利]基于分层神经网络的文本表示方法和装置

权利要求书

1.一种基于分层神经网络的文本表示方法，其特征在于，包括：

基于预设的转换规则将组成句子的每个词转换为向量；

将与所述句子中的所有词相对应的所述向量输入神经网络进行聚合，输出与此句子相对应的句子表示；

将所有的句子表示输入神经网络聚合，生成与所有的句子表示相对应的文档表示；

通过全连接网络将所述文档表示转换为文档分类向量，并基于所述文档分类向量获得对文档分类的预测概率分布。

2.如权利要求1所述的方法，其特征在于，所述基于预设的转换规则将组成句子的每个词转换为向量包括：

利用词嵌套将每个词转化为向量其中，所述句子为句子s_i中的第j个词，D是词嵌套的维度；

所述将与所述句子中的所有词相对应的所述向量输入神经网络进行聚合、输出与此句子相对应的句子表示包括：

将作为神经网络的输入，用于使神经网络输出句子表示s_i；

所述将所有的句子表示输入神经网络聚合、生成与所有句子表示相对应的文档表示包括：

将所有句子的句子表示作为神经网络的输入，用于使神经网络输出文档d的表示d(d∈R^D)；其中，文档

所述通过全连接网络将所述文档表示转换为文档分类向量、并基于所述文档分类向量获得对文档分类的预测概率分布包括：

利用全连接网络将d转化为d^*＝{x₁,x₂,…,x_c}，其中c表示文档种类数；

利用softmax函数生成对文档属于种类i的概率：

3.如权利要求2所述的方法，其特征在于，还包括：

对所述句子中的所有词对应的向量进行平均后得到与此句子相对应的句子表示：

基于句子表示生成文本表示：

4.如权利要求2所述的方法，其特征在于，还包括：

利用Bi-LSTM处理词序列得到前向LSTM和后向LSTM的各个时间点的输出和其中，p是隐层输出的维度；

将和拼接起来得到隐层输出

设置全连接层其中，是权重矩阵和b_R,s∈R^D是偏置量；

对句子序列使用Bi-LSTM处理，获得和其中t＝1,2,…,n₂；

将每个和拼接起来得到隐层输出

设置文档表示其中，是权重矩阵，b_R,d∈R^D是偏置量。

5.如权利要求2所述的方法，其特征在于，还包括：

使用过滤操作符号对词序列进行卷积，得到特征映射其中，i＝{1,2,…,n₂}，m是过滤操作的总数量；

在不同特征映射上应用最大化池化操作获取特征

拼接所有得到设置句子表示s_i为其中是权重矩阵，b_C,s∈R^D是偏置量；

对文档d的句子序列使用不同的过滤操作符号W_h，得到特征映射其中h＝1,…,m；

对不同的特征映射应用最大化池化操作得到对应的特征

设置文档表示其中，是权重矩阵，b_C,d∈R^D是偏置量。

6.一种基于分层神经网络的文本表示装置，其特征在于，包括：

词转换模块，用于基于预设的转换规则将组成句子的每个词转换为向量；

句子表示模块，用于将与所述句子中的所有词相对应的所述向量输入神经网络进行聚合，输出与此句子相对应的句子表示；

文档表示模块，用于将所有的句子表示输入神经网络聚合，生成与所有的句子表示相对应的文档表示；

预测模块，用于通过全连接网络将所述文档表示转换为文档分类向量，并基于所述文档分类向量获得对文档分类的预测概率分布。