[发明专利]文本向量生成方法和装置

说明书

本发明公开了一种文本向量生成方法和装置，涉及计算机技术领域。其中，该方法包括：基于word2vec模型确定文本集的每个特征词的词向量；对所述词向量进行聚类处理，以得到每个特征词的聚类类别；基于TextRank算法或TF‑IDF算法确定每个特征词在所属文本中的权重；根据同一文本中所有特征词的聚类类别和权重生成对应的文本向量。通过以上步骤，能够提高文本表示的准确性，对后续进行文本挖掘有很大帮助。

技术领域

本发明涉及计算机技术领域，尤其涉及一种文本向量生成方法和装置。

背景技术

在现有技术中，主要存在以下四种文本向量表示方法：词袋模型(Bag of Words,BOW)、LDA模型(Latent Dirichlet Allocation)、word2vec模型、doc2vec模型。

词袋模型将文本看成是一些词的集合。在该集合中，每个词的出现是相互独立的，且不考虑词的顺序、语法、语义等信息。词袋模型将文本表示成与训练词汇集合相同维度的向量，向量中每个位置的值可用该位置所代表的词在文本中的TF-IDF(term frequency-inverse document frequency)值表示。并且，随着词汇的增加，文本向量的维度也会增加。

LDA模型是一种非监督的机器学习技术，可以用来识别大规模文本集或语料库中潜藏的主题信息。LDA模型也采用了词袋的方法，将每篇文本视为一个词频向量，从而将文本信息转化为易于建模的数字信息。

word2vec模型使用Distributed Representation的词向量表示方式。它是一款将词表征为实数值向量的高效工具，其可以通过对语料的训练，将对文本内容的处理简化为n维向量空间中的向量运算。

doc2vec模型在word2vec模型的输入基础上增加了段落标识(Paragraph id)这一项，即把Paragraph id作为相应文本的代表。在训练过程中，对于每一个文本，其Paragraphid会出现在该文本每一个滑动窗口的训练中，这就会使Paragraph id与该文本的所有词产生关联。在训练结束后，每个Paragraph id都会有相应的向量结果，以该向量结果作为相应文本的向量表示。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

1、在词袋模型中，文本向量的维数与训练集中出现的单词的数目一样多，容易出现“维度灾难”现象。一篇普通文本中的词的数目在1000左右，而词向量的维度能达到10万，利用率仅为1％，所以基于BOW表示的文本向量非常稀疏，不利于文本挖掘任务。另外，由于词袋模型假设词与词之间相互独立，并不考虑词与词之间的关系，因此会产生词义鸿沟问题，进而无法很好地表示一篇文本的语义。

2、LDA模型没有考虑文本的上下文关系，简化了文本的实际语义，导致生成的向量结果与实际语义有差距。

3、word2vec模型将词向量的平均作为文本向量表示，没有考虑词在文本中的重要性，也没有考虑文本的句子结构信息和词序信息，导致生成的文本向量不准确，尤其不适合表示长文本。

4、doc2vec模型将Paragraph id与文本中所有词的关联程度视为等同，没有考虑词在文本中的重要性，也没有考虑每个词对整篇文本的影响，导致生成的文本向量不准确，尤其不适合表示长文本。

发明内容

有鉴于此，本发明提供一种文本向量生成方法和装置，能够提高文本表示的准确性，对后续进行文本挖掘有很大帮助。

为实现上述目的，根据本发明的一个方面，提供了一种文本向量生成方法。