[发明专利]摘要生成方法、装置和设备在审
申请号: | 201910203859.5 | 申请日: | 2019-03-18 |
公开(公告)号: | CN111723194A | 公开(公告)日: | 2020-09-29 |
发明(设计)人: | 桂敏;王睿;田俊峰 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F16/34 | 分类号: | G06F16/34 |
代理公司: | 北京太合九思知识产权代理有限公司 11610 | 代理人: | 孙明子 |
地址: | 英属开曼群岛大开*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 摘要 生成 方法 装置 设备 | ||
1.一种摘要生成方法,包括:
获取组成本文的多个第一语句;
通过词语编码器分别对所述多个第一语句进行词语编码处理,得到对应于所述多个第一语句的多个第一语句表示向量;
通过语句编码器对所述多个第一语句表示向量进行句子编码处理,得到对应于所述文本的第一文本表示向量;
通过语句解码器对所述第一文本表示向量进行解码处理,得到指示需解码的文本内容的多个第一语句指示向量;
通过词语解码器分别对所述多个第一语句指示向量进行解码处理,得到多个第一摘要语句,由所述多个第一摘要语句组成所述文本的摘要。
2.根据权利要求1所述的方法,所述词语编码器和所述语句编码器包括如下神经网络中的任一种:双向循环神经网络、双向长短期记忆网络;
所述词语解码器和所述语句解码器包括如下神经网络中的任一种:循环神经网络、长短期记忆网络。
3.根据权利要求1或2所述的方法,还包括模型的训练步骤:
获取被标注的训练样本中包含的多个第二语句;
通过所述词语编码器分别对所述多个第二语句进行词语编码处理,得到对应于所述多个第二语句的多个第二语句表示向量;
通过所述语句编码器对所述多个第二语句表示向量进行句子编码处理,得到对应于所述训练样本的第二文本表示向量;
通过所述语句解码器对所述第二文本表示向量进行解码处理,得到指示了需解码的文本内容的多个第二语句指示向量;
通过所述词语解码器分别对所述多个第二语句指示向量进行解码处理,得到多个第二摘要语句;
根据所述多个第二摘要语句与标注的多个参考摘要语句,确定第一损失函数;
根据所述第一损失函数确定所述模型的参数,所述模型包括所述词语编码器、所述语句编码器、所述语句解码器和所述词语解码器。
4.根据权利要求3所述的方法,所述多个第二摘要语句的获取步骤,包括:
对于所述多个第二语句指示向量中的任一语句指示向量,通过所述词语解码器对所述任一语句指示向量进行解码处理,得到所述词语解码器各时刻的实际隐层状态;
根据所述各时刻的实际隐层状态确定各时刻分别对应的词语,所述任一语句指示向量对应的第二摘要语句由所述各时刻分别对应的词语组成。
5.根据权利要求4所述的方法,还包括:
根据所述词语解码器t时刻的实际隐层状态反推所述词语解码器t-n时刻的重构隐层状态,n大于或等于1,t为所述各时刻中的一时刻;
根据所述词语解码器t-n时刻的实际隐层状态与所述t-n时刻的重构隐层状态,确定第二损失函数;
根据所述第二损失函数调整所述模型的参数。
6.根据权利要求5所述的方法,重构网络包括隐层以及与所述隐层连接的全连接层;
所述根据所述词语解码器t时刻的实际隐层状态反推所述词语解码器t-n时刻的重构隐层状态,包括:
将所述词语解码器t时刻的实际隐层状态和重构网络t-1时刻的隐层状态输入到所述重构网络的隐层以更新隐层状态,得到所述重构网络t时刻的隐层状态;
将所述重构网络t时刻的隐层状态输入到所述全连接层,以得到所述全连接层输出的所述词语解码器t-n时刻的重构隐层状态。
7.根据权利要求4所述的方法,还包括:
根据所述词语解码器t时刻的实际隐层状态反推所述词语解码器t-1至t-m时刻各自对应的重构隐层状态,m大于1,t为所述各时刻中的一时刻;
根据所述词语解码器t-1至t-m时刻各自对应的实际隐层状态与所述t-1至t-m时刻各自对应的重构隐层状态,确定多个第三损失函数;
根据所述多个第三损失函数调整所述模型的参数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910203859.5/1.html,转载请声明来源钻瓜专利网。