[发明专利]基于分层神经网络的文本表示方法和装置

说明书

本发明公开了一种基于分层神经网络的文本表示方法和装置，其中的方法包括：将组成句子的每个词转换为向量；将与句子中的所有词相对应的向量输入神经网络进行聚合，输出与此句子相对应的句子表示；将所有的句子表示输入神经网络聚合，生成与所有的句子表示相对应的文档表示；通过全连接网络将文档表示转换为文档分类向量，并基于文档分类向量获得对文档分类的预测概率分布。本发明的方法和装置，通过将分层机制引入神经网络模型来解决用于文本分类的文档表示问题，更好地提高不同任务的互操作性，将分层神经体系结构融入神经网络方法分别导致了新的基于分层的神经网络模型，精确度、性能等方面明显优于已有的神经网络模型，而且耗费更少。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于分层神经网络的文本 表示方法和装置。

背景技术

文本表示的学习对于自然语言处理NLP是一个具有挑战性的任务，将文 本空间转化为实值向量或矩阵，这是机器理解文本语义的关键。对于文本生 成框架(用于词生成句子、句子生成文本)，文本表示形式可以分为以下几个 层次，词语表示、短语表示、句子表示和文档级表示。文档的表示具有广阔 的应用前景，如情感分类、文本检索、文本排序等。通常的文本表示方法是 带有逆文本频率TF-IDF的词袋模型BoW和N元模型N-gram。然而，这种基于统计的方法应用于大规模语料库时，会遇到数据稀疏性和维数的问题。 目前，根据不同的神经网络结构或其组合所提出许多文本表示方法，例如， FastTex、卷积神经网络、递归神经网络和递归卷积神经网络。然而，现有的 文本表示模型是基于神经网络根据具体任务训练而得的，忽视文本本身的内 部结构特征。因此，需要一种新的用于进行文本表示的技术方案。

发明内容

有鉴于此，本发明要解决的一个技术问题是提供一种基于分层神经网络 的文本表示方法和装置。

根据本发明的一个方面，提供一种基于分层神经网络的文本表示方法， 包括：基于预设的转换规则将组成句子的每个词转换为向量；将与所述句子 中的所有词相对应的所述向量输入神经网络进行聚合，输出与此句子相对应 的句子表示；将所有的句子表示输入神经网络聚合，生成与所有的句子表示 相对应的文档表示；通过全连接网络将所述文档表示转换为文档分类向量， 并基于所述文档分类向量获得对文档分类的预测概率分布。

可选地，所述基于预设的转换规则将组成句子的每个词转换为向量包括： 利用词嵌套将每个词转化为向量其中，所述句子 为句子s_i中的第j个词，D是词嵌套的维度；所述将与 所述句子中的所有词相对应的所述向量输入神经网络进行聚合、输出与此句 子相对应的句子表示包括：将作为神经网络的输入，用于使神 经网络输出句子表示s_i；所述将所有的句子表示输入神经网络聚合、生成与 所有句子表示相对应的文档表示包括：

将所有句子的句子表示作为神经网络的输入，用于 使神经网络输出文档d的表示d(d∈R^D)；其中，文档所述通 过全连接网络将所述文档表示转换为文档分类向量、并基于所述文档分类向 量获得对文档分类的预测概率分布包括：利用全连接网络将d转化为 d*＝{x₁,x₂,…,x_c}，其中c表示文档种类数；利用softmax函数生成对文档属于 种类i的概率：

可选地，对所述句子中的所有词对应的向量进行平均后得到与此句子相 对应的句子表示：

基于句子表示生成文本表示：