[发明专利]一种文本相似度确定方法、装置、设备及存储介质有效
申请号: | 201810937072.7 | 申请日: | 2018-08-16 |
公开(公告)号: | CN109145299B | 公开(公告)日: | 2022-06-21 |
发明(设计)人: | 史文丽;王晨光 | 申请(专利权)人: | 北京金山安全软件有限公司 |
主分类号: | G06F40/30 | 分类号: | G06F40/30;G06F16/35;G06K9/62 |
代理公司: | 北京柏杉松知识产权代理事务所(普通合伙) 11413 | 代理人: | 丁芸;项京 |
地址: | 100123 北京市朝*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 文本 相似 确定 方法 装置 设备 存储 介质 | ||
1.一种文本相似度确定方法,其特征在于,包括:
确定待分析文本;
对所述待分析文本进行分句,得到所述待分析文本对应的多个句子;
针对每个句子,将该句子输入至预先训练的神经网络模型,得到该句子对应的语义特征向量,其中,所述神经网络模型是根据多个第一训练样本以及多个第一训练样本分别对应的关联句子训练得到的;
确定表示所述待分析文本主题的主题特征向量;
根据每个句子对应的所述语义特征向量,确定所述待分析文本对应的特定特征向量,包括:根据每个句子对应的所述语义特征向量,确定所述待分析文本对应的总语义特征向量;将所述主题特征向量与所述总语义特征向量结合,将结合得到的特征向量作为所述特定特征向量;
计算所述待分析文本对应的所述特定特征向量之间的相似度,并将该相似度作为所述待分析文本之间的相似度。
2.根据权利要求1所述的方法,其特征在于,所述根据每个句子对应的所述语义特征向量,确定所述待分析文本对应的特定特征向量,包括:
根据每个句子对应的所述语义特征向量,确定所述待分析文本对应的总语义特征向量;
将所述总语义特征向量作为所述特定特征向量。
3.根据权利要求1所述的方法,其特征在于,预先训练神经网络模型包括:
获取多个训练文本中的多个句子作为第一训练样本;
针对每个第一训练样本,将该第一训练样本以及该第一训练样本对应的关联语句作为第一预设神经网络模型的输入,对第一预设神经网络模型进行训练,得到所述神经网络模型;其中,该第一训练样本对应的关联语句包括该第一训练样本对应的训练文本中、该第一训练样本之前的句子以及该第一训练样本之后的句子。
4.根据权利要求1所述的方法,其特征在于,所述确定表示所述待分析文本主题的主题特征向量,包括:
基于预先训练的主题模型,确定表示所述待分析文本主题的所述主题特征向量;其中,所述主题模型是根据多个第二训练样本以及多个第二训练样本分别对应的主题属性训练得到的。
5.根据权利要求4所述的方法,其特征在于,预先训练所述主题模型包括:
分别对各个第二训练样本进行分词和去停用 词,得到各个第二训练样本分别对应的预处理第二训练样本;
针对各个预处理第二训练样本,将该预处理第二训练样本以及该预处理第二训练样本对应的第二训练样本的主题属性,作为第二预设神经网络模型的输入,对第二预设神经网络模型进行训练,得到所述主题模型。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述计算所述待分析文本对应的所述特定特征向量之间的相似度,包括:
计算所述待分析文本对应的所述特定特征向量之间的余弦相似度。
7.一种文本相似度确定装置,其特征在于,包括:
第一确定模块,用于确定待分析文本;
分句模块,用于对所述待分析文本进行分句,得到所述待分析文本对应的多个句子;
输入模块,用于针对每个句子,将该句子输入至预先训练的神经网络模型,得到该句子对应的语义特征向量,其中,所述神经网络模型是根据多个第一训练样本以及多个第一训练样本分别对应的关联句子训练得到的;
第三确定模块,用于确定表示所述待分析文本主题的主题特征向量;
第二确定模块,用于根据每个句子对应的所述语义特征向量,确定所述待分析文本对应的总语义特征向量;将所述主题特征向量与所述总语义特征向量结合,将结合得到的特征向量作为特定特征向量;
计算模块,用于计算所述待分析文本对应的所述特定特征向量之间的相似度,并将该相似度作为所述待分析文本之间的相似度。
8.根据权利要求7所述的装置,其特征在于,所述第二确定模块,具体用于根据每个句子对应的所述语义特征向量,确定所述待分析文本对应的总语义特征向量;将所述总语义特征向量作为所述特定特征向量。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京金山安全软件有限公司,未经北京金山安全软件有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810937072.7/1.html,转载请声明来源钻瓜专利网。