[发明专利]一种基于BM25加权结合词向量的文本表示方法在审
| 申请号： | 201811476643.8 | 申请日： | 2018-12-04 |
| 公开（公告）号： | CN109597995A | 公开（公告）日： | 2019-04-09 |
| 发明（设计）人： | 付俊峰;郑锦坤;梁良 | 申请（专利权）人： | 国网江西省电力有限公司信息通信分公司;国家电网有限公司 |
| 主分类号： | G06F17/27 | 分类号： | G06F17/27;G06F16/35 |
| 代理公司： | 南昌新天下专利商标代理有限公司 36115 | 代理人： | 施秀瑾 |
| 地址： | 330077 *** | 国省代码： | 江西;36 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于BM25加权结合词向量的文本表示方法，包括如以下步骤：步骤1：词的切分，将文档中的句子分解成为单独的词以便进行后续处理；步骤2：预训练词向量，使用当前流行的词向量表示，稀疏和离散的“单热”表示难以捕捉词之间的语义关联性；步骤3：计算词的BM25权重，通过BM25算法给予与文档相关的词更高的权重；步骤4：得到文档向量表示，通过对词的向量与词的权重进行加权求和，能够得到文档的向量表示，并将其作为最终进行分类的特征表示；步骤5：分类，通过分类器进行判断该文档分类到各个类别的概率。本发明使用BM25加权模式，可以从文本中识别出最重要的单词，并在将单词组合成文本表示时赋予它们更大的权重，更加有效且高效。 | ||
| 搜索关键词： | 词向量 权重 文档 加权 文本表示 语义关联性 合成文本 后续处理 加权模式 句子分解 特征表示 文档分类 文档向量 向量表示 单词组 分类器 分类 求和 算法 稀疏 向量 单词 捕捉 文本 概率 赋予 | ||
【主权项】：
1.一种基于BM25加权结合词向量的文本表示方法，其特征在于，从一个句子输入到模型中，到最后系统判定其是否为点击诱饵的实施过程分解包括如以下步骤：步骤1：词的切分，将文档中的句子分解成为单独的词以便进行后续处理；步骤2：预训练词向量，使用当前流行的词向量表示，稀疏和离散的“单热”表示难以捕捉词之间的语义关联性，而词向量表示连续和稠密，被训练来预测上下文中的周围单词；步骤3：计算词的BM25权重，在进行文本表示时，需要综合考虑词的局部重要性和全局重要性，计算每个词相对整篇文档的权重时，通过BM25算法给予与文档相关的词更高的权重；步骤4：得到文档向量表示，通过在引入的BM25函数获得单词向量及每个词对文档的相对重要性，可以获得一个文本的稠密向量表示，通过对词的向量与词的权重进行加权求和，能够得到文档的向量表示，并将其作为最终进行分类的特征表示；步骤5：分类，将词向量加权得到的向量作为文本的特征输入，通过分类器进行判断该文档分类到各个类别的概率，将概率最大的类别作为模型的输出。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于国网江西省电力有限公司信息通信分公司;国家电网有限公司，未经国网江西省电力有限公司信息通信分公司;国家电网有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811476643.8/，转载请声明来源钻瓜专利网。
- 上一篇：短文本问题语义匹配方法和系统
- 下一篇：一种语义解析方法、装置、设备和介质
