[发明专利]关键词提取方法、装置和电子设备在审
申请号: | 201911049697.0 | 申请日: | 2019-10-31 |
公开(公告)号: | CN110851578A | 公开(公告)日: | 2020-02-28 |
发明(设计)人: | 兰天星;王鹏;王永会 | 申请(专利权)人: | 北京大米科技有限公司 |
主分类号: | G06F16/332 | 分类号: | G06F16/332;G06F16/33;G06F16/335 |
代理公司: | 北京恒博知识产权代理有限公司 11528 | 代理人: | 李宁宁 |
地址: | 100007 北京市朝*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 关键词 提取 方法 装置 电子设备 | ||
1.一种关键词提取方法,其特征在于,所述方法包括:
基于词在待处理文档中出现的频率,提取待处理文档中的候选关键词,生成备选词集;
基于所述备选词集,过滤所述待处理文档,生成过滤词集;
根据所述过滤词集中词的相邻关系,从所述过滤词集中提取所述待处理文档中的关键词。
2.根据权利要求1所述的方法,其特征在于,所述基于词在待处理文档中出现的频率,提取待处理文档中的候选关键词,生成备选词集包括:
基于idf文件,利用词频-逆向文件频率tf-idf算法,提取所述待处理文档中的关键词,生成第一词集,其中,所述idf文件基于历史语料的逆向文件频率idf数据得到;
合并所述第一词集和第二词集中的词,生成所述备选词集,其中,所述第二词集基于频繁模式树fp-growth算法,对所述历史语料的高频词组进行统计得到。
3.根据权利要求1所述的方法,其特征在于,所述基于词在待处理文档中出现的频率,提取待处理文档中的候选关键词,生成备选词集包括:
基于idf文件,利用词频-逆向文件频率tf-idf算法,提取所述待处理文档中的关键词,生成所述备选词集,其中,所述idf文件基于历史语料的逆向文件频率idf数据得到。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述基于词在待处理文档中出现的频率,提取待处理文档中的候选关键词,生成备选词集之前,所述方法还包括:
对所述待处理文档进行分词处理;
从分词后的待处理文档中过滤掉停止词。
5.根据权利要求1所述的方法,其特征在于,所述根据所述过滤词集中词的相邻关系,从所述过滤词集中提取所述待处理文档中的关键词,包括:
若所述过滤词集中的词语数小于词数阈值,根据所述过滤词集中词的相邻关系,利用tf-idf算法,提取所述过滤词集中的关键词。
6.根据权利要求1所述的方法,其特征在于,所述根据所述过滤词集中词的相邻关系,从所述过滤词集中提取所述待处理文档中的关键词,包括:
若所述过滤词集中的词语数大于或等于词数阈值,根据所述过滤词集中词的相邻关系,利用texttrank算法,提取所述过滤词集中的关键词。
7.根据权利要求1所述的方法,其特征在于,所述基于所述备选词集,过滤所述待处理文档,生成过滤词集包括:
获取所述待处理文档中的分词;
若所述分词位于所述备选词集中,将所述分词添加到所述过滤词集中。
8.一种关键词提取装置,其特征在于,所述装置包括:
第一生成单元,用于基于词在待处理文档中出现的频率,提取待处理文档中的候选关键词,生成备选词集;
第二生成单元,用于基于所述备选词集,过滤所述待处理文档,生成过滤词集;
提取单元,根据所述过滤词集中词的相邻关系,从所述过滤词集中提取所述待处理文档中的关键词。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现所述权利要求1-7中任一项所述方法的步骤。
10.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现所述权利要求1-7中任一项所述方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京大米科技有限公司,未经北京大米科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911049697.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种高频窄脉冲检测锁定电路及方法
- 下一篇:一种智慧校园管理方法