[发明专利]一种电信客服垂直领域的词库构建方法及工具在审
申请号: | 202010114161.9 | 申请日: | 2020-02-24 |
公开(公告)号: | CN111353050A | 公开(公告)日: | 2020-06-30 |
发明(设计)人: | 王鸿强;雷晓宇;王福君;张宇 | 申请(专利权)人: | 北京合力亿捷科技股份有限公司 |
主分类号: | G06F16/36 | 分类号: | G06F16/36;G06F40/284;G06F40/247 |
代理公司: | 北京久诚知识产权代理事务所(特殊普通合伙) 11542 | 代理人: | 余罡 |
地址: | 100081 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 电信 客服 垂直 领域 词库 构建 方法 工具 | ||
1.一种电信客服垂直领域的词库构建方法,其特征在于,包括:
步骤一、将需要提取领域词库的语料库导入词库构建工具,语料数据作为训练集数据;
步骤二、利用词库构建工具对训练集数据进行分词提取,分词提取工具有Jieba工具、TF-IDF统计模型、信息熵模型和TextRank模型;
步骤三、提取后的词集导出作为专业领域词库。
2.如权利要求1所述的方法,其特征在于,所述步骤二中,通过Jieba分词法在语料库中初步分词得到分词集,构建分词词库。
3.如权利要求2所述的方法,其特征在于,基于所述分词词库,利用TF-IDF统计模型、信息熵模型和TextRank模型对其语料库重新进行分词。
4.如权利要求3所述的方法,其特征在于,将重新分词的结果“词”,重新作为Jieba的词典,重新对训练集数据进行分词,使用word2vec词向量模型计算得到各个词的向量空间。
5.如权利要求4所述的方法,其特征在于,将重新分词的结果“词”中有交集的,作为种子词;剩余的其它词作为候选词。
6.如权利要求5所述的方法,其特征在于,利用各个词的向量空间结果,将种子词与候选词进行相似度匹配,找出相似度高的K个词;然后采用投票形式,按照投票结果进行排序。
7.一种电信客服垂直领域的词库构建工具,其特征在于,包括:
语料库管理模块,用于将需要提取领域词库的语料库导入,语料数据作为训练集数据;
词库构建核心模块,用于对训练集数据进行分词提取,分词提取工具有Jieba工具、TF-IDF统计模型、信息熵模型和TextRank模型;
词库管理模块,用于构建的专业领域词库的管理。
8.如权利要求7所述的工具,其特征在于,词库构建核心模块通过Jieba分词法在语料库中初步分词得到分词集,构建分词词库。
9.如权利要求8所述的工具,其特征在于,基于所述分词词库,利用TF-IDF统计模型、信息熵模型和TextRank模型对其语料库重新进行分词。
10.如权利要求9所述的方法,其特征在于,将重新分词的结果“词”,重新作为Jieba的词典,重新对训练集数据进行分词,使用word2vec词向量模型计算得到各个词的向量空间。
11.如权利要求10所述的工具,其特征在于,将重新分词的结果“词”中有交集的,作为种子词;剩余的其它词作为候选词。
12.如权利要求11所述的工具,其特征在于,利用各个词的向量空间结果,将种子词与候选词进行相似度匹配,找出相似度高的K个词;然后采用投票形式,按照投票结果进行排序。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京合力亿捷科技股份有限公司,未经北京合力亿捷科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010114161.9/1.html,转载请声明来源钻瓜专利网。