[发明专利]基于文本的关键词提取方法和计算机设备有效
申请号: | 201910360872.1 | 申请日: | 2019-04-30 |
公开(公告)号: | CN110110330B | 公开(公告)日: | 2023-08-11 |
发明(设计)人: | 李钊 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F40/289 | 分类号: | G06F40/289;G06F40/205;G06F40/30;G06F16/33;G06F16/35;G06N3/0442;G06N3/0455 |
代理公司: | 北京同达信恒知识产权代理有限公司 11291 | 代理人: | 郭润湘;李娟 |
地址: | 518044 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 文本 关键词 提取 方法 计算机 设备 | ||
1.一种基于文本的关键词提取方法,其特征在于,所述方法包括:
构造待分析文本的矩阵,所述矩阵中包括按序排列的分词的词向量,其中,排列顺序为词向量在所述待分析文本中的顺序;
将待分析文本的矩阵输入给预训练的Seq2seq神经网络,得到输出矩阵,所述输出矩阵中包括至少一个输出向量;其中,所述Seq2seq神经网络是根据标注有关键词的语料训练得到的,且训练时,所述Seq2seq神经网络的输入是训练文本的矩阵,输出是训练文本对应的关键词构成的矩阵;其中关键词构成的矩阵中每个向量与关键词对应;
根据输出向量和关键词的对应关系,确定所述待分析文本的关键词;
其中,所述根据输出向量和关键词的对应关系,确定所述待分析文本的关键词,包括:
在关键词向量集合中查找与输出向量距离最近的向量;
将查找到的向量对应的关键词确定为所述待分析文本的关键词;
其中,所述Seq2seq神经网络中包括编码器、解码器和带有注意力机制的神经网络模块,所述带有注意力机制的神经网络模块包括依次串联的全连接层、随机失活层和归一化层softmax;
所述全连接层用于处理输入的所述编码器的当前输入词向量以及所述当前输入词向量的上一词向量的状态;
所述随机失活层用于处理所述全连接层的处理结果;
所述softmax用于对所述随机失活层的处理结果进行归一化后得到所述上一词向量的权重参数。
2.根据权利要求1所述的方法,其特征在于,所述带有注意力机制的神经网络模块用于调整所述编码器针对每个词向量的编码结果。
3.根据权利要求1所述的方法,其特征在于,将待分析文本的矩阵输入给预训练的Seq2seq神经网络,得到输出矩阵,包括:
将所述待分析文本的矩阵中的词向量按照在所述待分析文本的顺序,依次输入给所述编码器获得每个输入的词向量的状态;
将所述编码器的当前输入词向量以及所述当前输入词向量的上一词向量的状态输入给所述带有注意力机制的神经网络模块,得到所述上一词向量的权重参数;
将所述上一词向量的权重参数和所述上一词向量的状态相乘,得到调整后的所述上一词向量的状态;
将调整后的各词向量的状态依序输入给所述解码器,得到所述输出矩阵。
4.根据权利要求1所述的方法,其特征在于,构造待分析文本的矩阵,包括:
对待分析文本进行分词处理,得到各个分词;
将各分词转化为词向量;
将各分词的词向量按照分词在所述待分析文本中的顺序构造矩阵。
5.根据权利要求4所述的方法,其特征在于,将查找到的向量对应的关键词确定为所述待分析文本的关键词,包括:
针对从关键词向量集合中查找到的向量对应的每个关键词,若该关键词包含在所述待分析文本中,则将该关键词确定为所述待分析文本的关键词;若该关键词不包含在所述待分析文本中,则将该关键词丢弃。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若所述待分析文本的关键词数量大于预设数量;则从所述待分析文本的关键词中剔除部分关键词以使剩余的关键词数量等于所述预设数量。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若所述待分析文本的关键词数量小于预设数量;则从所述关键词向量集合中查找与所述待分析文本的关键词相似的关键词;
将查找到的所述相似的关键词确定为所述待分析文本的新增关键词。
8.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,
所述处理器执行所述计算机程序时实现权利要求1至7任一权利要求所述的方法步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910360872.1/1.html,转载请声明来源钻瓜专利网。