[发明专利]一种基于BM25加权结合词向量的文本表示方法

说明书

本发明公开了一种基于BM25加权结合词向量的文本表示方法，包括如以下步骤：步骤1：词的切分，将文档中的句子分解成为单独的词以便进行后续处理；步骤2：预训练词向量，使用当前流行的词向量表示，稀疏和离散的“单热”表示难以捕捉词之间的语义关联性；步骤3：计算词的BM25权重，通过BM25算法给予与文档相关的词更高的权重；步骤4：得到文档向量表示，通过对词的向量与词的权重进行加权求和，能够得到文档的向量表示，并将其作为最终进行分类的特征表示；步骤5：分类，通过分类器进行判断该文档分类到各个类别的概率。本发明使用BM25加权模式，可以从文本中识别出最重要的单词，并在将单词组合成文本表示时赋予它们更大的权重，更加有效且高效。

技术领域

本发明涉及到数据库数据复制技术领域，特别涉及一种基于BM25加权结合词向量的文本表示方法。

背景技术

将文本表示成有意义和有效的形式是自然语言处理中的一项基本任务。它也是许多基于文本的预测任务(如文档分类)的初始步骤。由于它的重要性，因此有许多前人工作致力于开发高效和有效的算法来表示有利于下游任务的文本。

早期的研究依赖于特征工程，通过从原始文本中提取词n元句法、词汇和句法特征来构造它们的特征集。它们使用一个超大维向量，如果某个词出现，则该向量对应维度为1，因此称为“单热”表示。这样的表示通常是稀疏的和离散的，不能捕捉特征之间的深层语义关联。其他各种技术，使用外部资源，如WordNet，以缓解特征稀疏问题。

表示学习的最新进展缓解了上述问题。表示学习的目的是学习为文本学习一个稠密的，连续的向量，并捕捉语义之间的相关性文本。根据他们是否依赖外部监督，可以进一步分类为无监督和监督的方法。无监督的方法，如Word2vec，段落向量，首先随机初始化文本表示，然后更新表示来预测其上下文。共享相似上下文的文本在向量空间中彼此接近。有监督的任务通常是任务相关的，它根据特定的任务来定制文本表示，并且被训练以最大化模型的性能。

现有工作的局限性是：第一，离散和稀疏表示不能捕获文本段之间的深层语义关联；第二，虽然无监督的方法容易且高效地训练，但它们不适合特定任务。因此，它们通常比监督的效果差。第三，监督一个通常是难以训练，递归神经网络和许多其他的深度学习方法通常有许多参数需要调节。

发明内容

发明的目的在于提供一种基于BM25加权结合词向量的文本表示方法，本发明使用BM25加权模式，可以从文本中识别出最重要的单词，并在将单词组合成文本表示时赋予它们更大的权重，以捕获词之间的语义关联性，本发明的方法有效且高效，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于BM25加权结合词向量的文本表示方法，从一个句子输入到模型中，到最后系统判定其是否为点击诱饵的实施过程分解包括如以下步骤：

步骤1：词的切分，将文档中的句子分解成为单独的词以便进行后续处理；

步骤2：预训练词向量，使用当前流行的词向量表示，稀疏和离散的“单热”表示难以捕捉词之间的语义关联性，而词向量表示连续和稠密，被训练来预测上下文中的周围单词；

步骤3：计算词的BM25权重，在进行文本表示时，需要综合考虑词的局部重要性和全局重要性，计算每个词相对整篇文档的权重时，通过BM25算法给予与文档相关的词更高的权重；

步骤4：得到文档向量表示，通过在引入的BM25函数获得单词向量及每个词对文档的相对重要性，可以获得一个文本的稠密向量表示，通过对词的向量与词的权重进行加权求和，能够得到文档的向量表示，并将其作为最终进行分类的特征表示；

步骤5：分类，将词向量加权得到的向量作为文本的特征输入，通过分类器进行判断该文档分类到各个类别的概率，将概率最大的类别作为模型的输出。