[发明专利]文本相似度的计算方法和装置有效
申请号: | 201910780309.X | 申请日: | 2019-08-22 |
公开(公告)号: | CN110516210B | 公开(公告)日: | 2023-06-27 |
发明(设计)人: | 沈灿 | 申请(专利权)人: | 北京影谱科技股份有限公司 |
主分类号: | G06F40/194 | 分类号: | G06F40/194;G06F40/216;G06N3/049;G06N3/0442 |
代理公司: | 北京万思博知识产权代理有限公司 11694 | 代理人: | 孙黎生 |
地址: | 100000 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本申请公开了一种文本相似度的计算方法和装置,属于文本处理领域。该方法包括:预先获取多个类别的语料作为文本数据集,进行预处理后取出第一文档和第二文档,按照如下相同的方法分别求出对应的第一文本向量和第二文本向量;将采用Word2vec模型得到的数据向量与采用TF‑IDF算法得到的文本权重进行数据融合得到融合向量;输入LSTM模型生成特征向量并得到文本向量;采用余弦相似度算法计算第一文本向量和第二文本向量的相似度。该装置包括:数据集模块、控制模块、Word2vec模块、TF‑IDF模块、融合模块、LSTM模块和相似度计算模块。本申请提高了计算文本相似度的准确性。 | ||
搜索关键词: | 文本 相似 计算方法 装置 | ||
【主权项】:
1.一种文本相似度的计算方法,包括:/n预先获取多个类别的语料作为文本数据集,对所述文本数据集进行预处理;/n从所述预处理后的文本数据集中取出第一文档和第二文档,按照如下相同的方法分别求出对应的第一文本向量和第二文本向量;/n采用Word2vec模型对当前文档进行计算得到数据向量;/n采用TF-IDF算法对所述当前文档进行计算得到文本权重;/n将所述数据向量与所述文本权重进行数据融合得到融合向量;/n将所述融合向量输入LSTM长短时记忆网络模型生成特征向量,对所述特征向量中的所有特征值求和,得到所述当前文档对应的文本向量;/n采用余弦相似度算法计算所述第一文本向量和第二文本向量的相似度,得到所述第一文档和第二文档的相似度。/n
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京影谱科技股份有限公司,未经北京影谱科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201910780309.X/,转载请声明来源钻瓜专利网。