[发明专利]一种基于BM25加权结合词向量的文本表示方法

权利要求书

1.一种基于BM25加权结合词向量的文本表示方法，其特征在于，从一个句子输入到模型中，到最后系统判定其是否为点击诱饵的实施过程分解包括如以下步骤：

步骤1：词的切分，将文档中的句子分解成为单独的词以便进行后续处理；

步骤2：预训练词向量，使用当前流行的词向量表示，稀疏和离散的“单热”表示难以捕捉词之间的语义关联性，而词向量表示连续和稠密，被训练来预测上下文中的周围单词；

步骤3：计算词的BM25权重，在进行文本表示时，需要综合考虑词的局部重要性和全局重要性，计算每个词相对整篇文档的权重时，通过BM25算法给予与文档相关的词更高的权重；

步骤4：得到文档向量表示，通过在引入的BM25函数获得单词向量及每个词对文档的相对重要性，可以获得一个文本的稠密向量表示，通过对词的向量与词的权重进行加权求和，能够得到文档的向量表示，并将其作为最终进行分类的特征表示；

步骤5：分类，将词向量加权得到的向量作为文本的特征输入，通过分类器进行判断该文档分类到各个类别的概率，将概率最大的类别作为模型的输出。

2.根据权利要求1所述的一种基于BM25加权结合词向量的文本表示方法，其特征在于，模型的框架由BM25加权模块、文本表示组件以及分类组件组成，其中，

BM25加权模块测量文本中每个单词的重要性；

文本表示组件计算用于文档表示的每个单词的加权平均值；

分类组件使用文本表示作为其输入，并作出最终的预测。

3.根据权利要求1所述的一种基于BM25加权结合词向量的文本表示方法，其特征在于，单词的单词向量堆叠在词汇表中，通过函数查找L找到对应的给定词的词向量。

4.根据权利要求1所述的一种基于BM25加权结合词向量的文本表示方法，其特征在于，BM25的一个正式定义，计算文档d中词W_i的相关性得分如下：

其中b，k₁均为超参数，|d|为文档的长度,，|avgdl|为整个数据集中文档的平均长度，IDF用于计算词的反文档频率。

5.根据权利要求4所述的一种基于BM25加权结合词向量的文本表示方法，其特征在于，IDF的计算方法如下：

其中N数据集中文档数目，f(w_i，d)表示词在文档中出现的频率。

6.根据权利要求1所述的一种基于BM25加权结合词向量的文本表示方法，其特征在于，文档的向量表示为：

e_d＝∑score(w_i，d)·e_wi。

7.根据权利要求6所述的一种基于BM25加权结合词向量的文本表示方法，其特征在于，通过softmax分类器预测e_d的类别，公式如下：

p(y|e_d)＝softmax(f(e_d))

其中f是一个非线性激活函数，y是文档的类别，则整个模型只需要最小化如下的损失函数：

J(θ)＝-log(p(y|e_d；θ))。