[发明专利]一种基于堆叠双向lstm神经网络的文本相似度计算方法有效

专利信息
申请号: 201811075571.6 申请日: 2018-09-14
公开(公告)号: CN109344399B 公开(公告)日: 2023-02-03
发明(设计)人: 覃勋辉;杜若;向海;侯聪;刘科 申请(专利权)人: 重庆邂智科技有限公司
主分类号: G06F40/284 分类号: G06F40/284;G06F40/247;G06N3/08
代理公司: 重庆强大凯创专利代理事务所(普通合伙) 50217 代理人: 赵玉乾
地址: 401120 重庆市渝北区金开*** 国省代码: 重庆;50
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 基于 堆叠 双向 lstm 神经网络 文本 相似 计算方法
【权利要求书】:

1.一种基于堆叠双向lstm神经网络的文本相似度计算方法,其特征在于:包括以下步骤:

步骤一,将输入词向量以网络堆叠的方式输入到lstm神经网络中,得到输入句子向量;

步骤二,按照前面步骤得到两个输入句子的句子向量;将两个输入句子的句子向量输入到分类器中,得到这两个句子的相似度;

在步骤一之前,将带有相似度标签的语料文本分词,得到的词向量作为目标词向量;将目标词向量以网络堆叠的方式输入到lstm神经网络中,得到目标句子向量;将与输入句子向量具有相同语义的目标句子向量作为正样本,将除此之外的其他目标句子向量作为负样本;通过正样本、负样本和输入句子向量训练lstm神经网络模型和分类器,分别得到lstm神经网络参数和分类器的全连接层参数;

所述分类器包括依次连接的输入层、批处理层、拼接层、全连接层以及概率层;

所述输入层,用来输入包括输入句子向量特征、正样本和负样本在内的句子向量特征;

所述批处理层,用来对输入的句子向量特征进行批量归一化处理;

所述拼接层,用来将归一化处理后的句子向量拼接成为行向量;

所述全连接层,用来将行向量按照正样本和负样本进行二维对比;

所述概率层,用来得到行向量分别与正样本和负样本的相似概率。

2.根据权利要求1所述的基于堆叠双向lstm神经网络的文本相似度计算方法,其特征在于:在步骤一之前,将输入句子分词并计算词向量,得到的词向量作为输入词向量。

3.根据权利要求1所述的基于堆叠双向lstm神经网络的文本相似度计算方法,其特征在于:所述相似度分别针对正样本或者负样本,所述相似度包括针对同一样本相似和不相似的二维概率。

4.根据权利要求2所述的基于堆叠双向lstm神经网络的文本相似度计算方法,其特征在于:在分词后得到词向量时,采用word2vec进行词向量计算。

5.根据权利要求1所述的基于堆叠双向lstm神经网络的文本相似度计算方法,其特征在于:所述拼接层拼接形成的行向量为:

[u,v,abs(u-v),element-wise product(u⊙v), cos similarity(u,v)];

其中,u为句子1的输入句子向量特征,v为句子2的输入句子向量特征;

abs(u-v)代表u-v向量的绝对值;

element-wise product(u⊙v)代表u,v向量的元素积;

cos similarity(u,v)代表u,v向量的cos相似度。

6.根据权利要求1所述的基于堆叠双向lstm神经网络的文本相似度计算方法,其特征在于:建立目标优化函数,优化lstm神经网络参数和分类器的全连接层参数;所述目标优化函数为交叉熵或者Adam 迭代优化方法。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于重庆邂智科技有限公司,未经重庆邂智科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201811075571.6/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top