[发明专利]一种词语词向量的生成方法以及相似词的确定方法在审
申请号: | 202110057200.0 | 申请日: | 2021-01-15 |
公开(公告)号: | CN112686033A | 公开(公告)日: | 2021-04-20 |
发明(设计)人: | 林晓明;江金陵 | 申请(专利权)人: | 上海明略人工智能(集团)有限公司 |
主分类号: | G06F40/284 | 分类号: | G06F40/284;G06F40/289;G06F40/216;G06K9/62 |
代理公司: | 北京超成律师事务所 11646 | 代理人: | 裴素英 |
地址: | 200030 上海市徐汇区*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 词语 向量 生成 方法 以及 相似 确定 | ||
1.一种词语词向量的生成方法,其特征在于,所述生成方法包括:
获取样本训练语料以及词间关系集,构建所述样本训练语料对应的样本语料库;
确定所述样本语料库中各个样本词语的初始词向量,得到所述样本语料库的初始语料向量集;
按照所述词间关系集中各个词语相关关系的预设训练顺序,依次更新所述初始语料向量集中对应样本词语的初始词向量,并迭代训练所述初始语料向量集,得到所述各个样本词语的目标词向量,其中,所述词语相关关系包括弱关系,强关系以及相等关系;
基于所述各个样本词语的目标词向量,构建所述样本语料库的目标语料向量集。
2.根据权利要求1所述的生成方法,其特征在于,通过以下步骤构建样本语料库:
对所述样本训练语料进行分词处理,将所述样本训练语料拆分为多个样本词语;
基于所述多个样本词语构建所述样本语料库。
3.根据权利要求1所述的生成方法,其特征在于,所述确定所述样本语料库中各个样本词语的初始词向量,得到所述样本语料库的初始语料向量集,包括:
将所述样本语料库中各个样本词语进行向量化处理,得到所述样本语料库中各个样本词语的原始向量;
使用Word2vec模型,对所述样本语料库中各个样本词语的原始向量进行训练,得到所述样本语料库中各个样本词语的初始词向量;
基于所述各个样本词语的初始词向量,构建所述样本语料库的初始语料向量集。
4.根据权利要求1所述的生成方法,其特征在于,所述按照所述词间关系集中各个词语相关关系的预设训练顺序,依次更新所述初始语料向量集中对应样本词语的初始词向量,并迭代训练所述初始语料向量集,得到所述各个样本词语的目标词向量,其中,所述词语相关关系包括弱关系,强关系以及相等关系,包括:
根据所述词间关系集的指示,从所述初始语料向量集中确定出互为弱关系的多组弱关系词组中的每个样本词语的初始词向量;
针对于每组弱关系词语,使用所述弱关系词组对应的均值词向量替换该词组中每个词语的初始词向量,得到更新后的初始语料向量集;
使用Word2vec模型,对所述更新后的初始语料向量集进行训练,当训练次数达到第一预设阈值时,得到所述更新后的初始语料向量集中各个样本词语的第一词向量,并基于所述样本词语的第一词向量构建第一词向量集;
根据所述词间关系集的指示,从所述第一词向量集中确定出互为强关系的多组强关系词组中的每个样本词语的第一词向量;
针对于每组强关系词语,使用所述强关系词组对应的均值词向量替换该词组中每个词语的第一词向量,得到更新后的第一词向量集;
使用Word2vec模型,对所述更新后的第一词向量集进行训练,当训练次数达到第二预设阈值时,得到所述更新后的第一词向量集中各个样本词语的第二词向量,并基于所述样本词语的第二词向量构建第二词向量集;
根据所述词间关系集的指示,从所述第二词向量集中确定出互为相等关系的多组相等关系词组中的每个样本词语的第二词向量;
针对于每组相等关系词语,使用所述相等关系词组对应的均值词向量替换该词组中每个词语的第二词向量,得到更新后的第二词向量集;
使用Word2vec模型,对所述更新后的第二词向量集进行训练,当训练次数达到第三预设阈值时,停止训练,得到所述更新后的第二词向量集中各个样本词语的目标词向量。
5.根据权利要求4所述的生成方法,其特征在于,通过以下步骤确定词组对应的均值向量:
针对于每种词语相关关系下的每组词语,统计该词组中每个词语对应的词向量;
将所述词组中每个词语的词向量相加求均值,得到所述词组的均值词向量。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海明略人工智能(集团)有限公司,未经上海明略人工智能(集团)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110057200.0/1.html,转载请声明来源钻瓜专利网。