[发明专利]文档向量化方法、装置、计算设备和计算机可读存储介质

说明书

一种文档向量化方法、装置、计算设备和计算机可读存储介质，其中，所述方法包括：将目标文档转化为所述目标文档的向量；将所述目标文档的向量输入神经主题模型中，得到所述目标文档的主题向量；其中，所述神经主题模型包括：分类层，所述分类层是基于样本文档及所述样本文档的分类结果训练得到的，并且在训练后得到第一参数集；主题向量生成层，所述主题向量生成层在所述第一参数集的控制下，将所述目标文档的向量转化为目标文档的主题向量。由此，能够高效地训练和生成高质量的长文档表示，能够有效地改善文档分析、识别、分类的结果。

技术领域

本发明涉及自然语言处理技术领域，具体地涉及一种文档向量化方法、 装置、计算设备和计算机可读存储介质。

背景技术

在对多字节集合构成的文档进行识别、分析、分类等处理时，通常需要 先将文档转化为计算机可识别的文档表示。

传统的文档表示方式包括基于词-向量转化(word to vector，简称 Word2Vec)模型或全局向量(Global Vectors，简称GloVe)模型等工具，将 文档转化为对应的向量。然而，使用传统的文档表示方法在后续的文档分析、 识别、分类等场景中使用时，会导致文档分析、识别、分类的效果较差。在 处理字节数较多的长文档时，这一问题尤为明显。

因此，如何高效地训练和生成高质量的长文档表示，能够有效地改善文 档分析、识别、分类的结果，成为当前亟需解决的问题。

发明内容

本发明解决的技术问题是如何高效地训练和生成高质量的长文档表示， 能够有效地改善文档分析、识别、分类的结果。

为解决上述技术问题，本发明实施例提供一种文档向量化方法，所述方 法包括：将目标文档转化为所述目标文档的向量；将所述目标文档的向量输 入神经主题模型中，得到所述目标文档的主题向量；其中，所述神经主题模 型包括：分类层，所述分类层是基于样本文档及所述样本文档的分类结果训 练得到的，并且在训练后得到第一参数集；主题向量生成层，所述主题向量 生成层在所述第一参数集的控制下，将所述目标文档的向量转化为目标文档 的主题向量。

可选的，所述分类层用于根据所述样本文档的主题向量对所述样本文档 进行分类，所述分类层包括全连接层和归一化指数函数，所述全连接层用于 根据所述样本文档的主题向量对所述样本文档进行分类，所述归一化指数函 数用于将所述全连接层得到的分类结果进行归一化。

可选的，所述神经主题模型还包括概述内容提取层，所述概述内容提取 层用于根据所述样本文档的向量得到所述样本文档的概述内容，所述概述内 容提取层是基于所述样本文档的向量和所述样本文档的概述内容训练得到 的，并且在训练后对所述第一参数集进行更新；所述主题向量生成层在更新 后的第一参数集的控制下，将所述目标文档的向量转化为目标文档的主题向 量。

可选的，所述主题向量生成层还用于输出主题向量矩阵，所述主题向量 矩阵是基于样本文档训练得到的、包含若干个主题对应的主题向量的矩阵； 通过所述概述内容提取层，根据所述样本文档的向量和所述主题向量矩阵， 得到所述样本文档的概述内容。

可选的，所述神经主题模型的损失函数根据所述分类层的损失函数、所 述概述内容提取层的损失函数、所述主题向量生成层的损失函数中的单个损 失函数或者多个损失函数计算得到；所述分类层的损失函数Closs表示为：

其中，Cj为真实的文档的类别标签，Tj为所述分类层得到的文档的类别 概率，j的取值范围为[0,n]，n为大于等于1的正整数；所述概述内容提取层 的损失函数gloss表示为：

其中，Yi为真实的概述内容的标签，Yi的取值为0或1，Pi为所述概述 内容提取层预测出的词包含在文档中的概率，i的取值范围为[0,k]，k的取值 为大于等于1的正整数。