[发明专利]基于变分自编码模型的文本深度特征提取方法

说明书

本发明公开了一种基于变分自编码模型的文本深度特征提取方法，属于自然语言处理技术领域，适用于从海量文本中提取深度特征，用于文本检索、分类、聚类或者其他自然语言处理相关应用，其主要思路为：确定N篇输入文档，得到第1篇输入文档的词袋向量x₁至第N篇输入文档的词袋向量x_N后划分为两部分，记为训练数据Xtrain和测试数据Xtext；对第n篇输入文档的词袋向量x_n进行建模，设定模型包括两层，分别记为模型第一层和模型第二层，n＝1,2,…,N；构建推理子模型，得到建立好的推理子模型；进而得到测试数据Xtext的两层主题关键词，包括测试数据第一层主题的M个关键词和测试数据第二层主题的M个关键词，并记为本发明的一种基于变分自编码模型的文本深度特征提取结果。

技术领域

本发明属于自然语言处理技术领域，特别涉及一种基于变分自编码模型的文本深度特征提取方法，适用于从海量文本中提取深度特征，并进一步用于文本检索、分类、聚类或者其他自然语言处理相关应用。

背景技术

随着信息技术的不断发展，如今互联网上的文本数据已经远远超出了人工处理的能力，其中绝大多数都是结构化的或者非结构化的文档，文档的内容都是人们日常使用的自然语言，计算机无法直接理解这些非结构化的文本信息，因此，自然语言处理技术显得十分必要。同时，自然语言处理技术需要解决的一个基本问题就是如何将文本数据在计算机合理地表示，使得计算机能够较为容易地识别文本信息。具体来说，我们需要对文本信息进行建模，用它的数学表达替代原始的文本。绝大多数文本都是非结构化的数据，使用计算机建模的过程就是将文本数据变为便于计算机处理的结构化数据。目前比较常见的方法是用向量空间模型建模文本，通常情况下这个向量的维度非常大，带来的计算开支也就很大，也不便于后期的检索分类等处理，因此需要对文本向量做进一步处理，找出文本更具有代表性的信息，于是就对文本特征提取提出了要求。主题模型可以用来发掘文本潜在的语义结构，是一种常见的文本挖掘工具。在主题模型出现之前，一种主流的文本挖掘算法是空间向量模型，其简单易懂并且在实际应用中十分有效使得它得到巨大的发展，但是伴随着自然语言处理技术的发展，人们开始追求对文本深层信息的理解，于是主题模型应运而生。最初开发为文本挖掘工具，主题模型已被用于检测遗传信息，图像和网络等数据中的指导性结构。他们也在生物信息学等其他领域得到应用。

Blei D M,Ng A Y,Jordan M I.等人在其发表的论文“Latent dirichletallocation.”Journal of machine Learning research,2003,3(Jan):993-1022.中提出了著名的隐含狄利克雷分布(Latent dirichlet allocation)算法，该算法成为了主题模型的经典算法，该算法，但是任然存在不足之处：该方法提取的文本特征是浅层特征，不能表达文本的深层次信息，不利于后期的文本分类等任务。

发明内容

针对上述现有技术存在的不足，本发明的目的在于提出一种基于变分自编码模型的文本深度特征提取方法，该种基于变分自编码模型的文本深度特征提取方法使用变分贝叶斯方法快速求解了模型，实现了对文本深度特征的提取。

本发明上述目的的思路是：将词袋数据输入到概率模型的回归子模型中，得到隐层特征以及中间变量，再将中间变量送入生成子模型中得到新的词袋数据，计算误差函数，再利用批量随机梯度下降算法实现对模型参数的迭代更新；测试模型时，输入新的词袋数据，利用训练好的概率模型的回归子模型得到输入数据的深层特征。

为达到上述技术目的，本发明采用如下技术方案予以实现。

一种基于变分自编码模型的文本深度特征提取方法，包括以下步骤：

步骤1，确定N篇输入文档，得到第1篇输入文档的词袋向量x₁至第N篇输入文档的词袋向量x_N，记为数据集；将所述数据集划分为两部分，记为训练数据Xtrain和测试数据Xtext；