[发明专利]一种基于主题词向量与混合神经网络的文本表示方法

说明书

本发明涉及一种基于主题词向量与混合神经网络的文本表示方法，包括以下步骤：S1）在词向量预训练阶段，结合LDA主题模型与word2vec词向量模型搭建主题词模型，使用搭建的主题词模型进行主题词向量预训练；S2）基于卷积神经网络搭建变分自编码器，使用变分自编码器的编码器部分，建立基于主题词向量预训练和混合神经网络的文本表示模型，以进行文本表示。该方法有利于使文本表示具有更多的语义信息，从而在文本分类中取得更佳的结果。

技术领域

本发明属于深度学习自然语言处理领域，具体涉及一种基于主题词向量与混合神经网络的文本表示方法。

背景技术

随着科学技术的发展，中国网民超过8亿，互联网的普及率达到了近60％。在互联网中每天都有海量信息数据产生，这些数据类型包括了文本、图像、视频、音频等各种不同的表现形式。其中，文本类型的数据在互联网信息中占据了很大一部分位置，虽然一篇文章的字节量不多，也占用不了多少存储资源，但是其包含的信息却很多。

如今的互联网环境下，各种不同的任务以及应用都需要对自然语言进行分析和处理，在这之中，首先需要解决的问题就是文本表示，文本表示作为自然语言处理的基本任务能够将非结构化的自然语言转化为能被计算机处理分析的结构化形式，而这种表示形式还仍然能蕴含原始文本数据所带有的独特语义信息。因此，如何从海量数据中学习一个有效的特征表示，是现在迫切需要去关注和解决的重要问题之一。

由于深度学习在所有领域中都不断取得优异的表现，尤其是在图像处理上获得了远超人类识别的突破，如何将优秀的深度学习模型运用在自然语言处理模型上，是现在的研究重点。由于自然语言是由词、短语、句子、段落、文档等基本粒子按照递进的顺序组成的丰富多彩的文本信息，不同粒子的文本表示方法也各有不同。在文本表示最小粒度的词向量中，一词多义现象在自然语言中普遍存在，在汉语中尤其明显。据《汉语水平词汇与汉字等级大纲》的统计可知，中文中存在着极为普遍的一词多义现象，其中共包含有3618个多义词和11236个义项，对于各义项的使用上也十分的频繁。同一个文本能够表达出多种的含义，这就是自然语言中存在的歧义性，语义消歧任务也是自然语言处理中的一个重要研究方向。

发明内容

本发明的目的在于提供一种基于主题词向量与混合神经网络的文本表示方法，该方法有利于使文本表示具有更多的语义信息，从而在文本分类中取得更佳的结果。

为实现上述目的，本发明采用的技术方案是：一种基于主题词向量与混合神经网络的文本表示方法，包括以下步骤：

S1)在词向量预训练阶段，结合LDA主题模型与word2vec词向量模型搭建主题词模型，使用搭建的主题词模型进行主题词向量预训练；

S2)基于卷积神经网络搭建变分自编码器，使用变分自编码器的编码器部分，建立基于主题词向量预训练和混合神经网络的文本表示模型，以进行文本表示。

进一步地，所述步骤S1具体包括以下步骤：

S101)使用LDA主题模型对语料库中每一个词语都预先分配好对应的主题；

S102)结合LDA主题模型和word2vec词向量模型搭建主题词模型，训练主题向量和词向量；

S103)联合向量，获得主题词向量。

进一步地，所述主题词模型在训练词向量的同时引入主题向量，以实现一个词在不同主题下有不同的词向量表示；在主题词模型中，每个主题也被当作一个词进行训练，模型分别学习得到主题z_i的主题嵌入和词w_i的词嵌入；然后根据词嵌入w_i和主题嵌入z_i训练主题词嵌入wi，z_i；所述主题词模型同时学习单词和主题的向量表示；对于每个目标词和其主题对w_i，z_i建立主题词模型，所述主题词模型的目标是最大化以下的对数概率：