[发明专利]问题语句的改写方法、装置、设备和存储介质在审
申请号: | 201910431357.8 | 申请日: | 2019-05-22 |
公开(公告)号: | CN110263330A | 公开(公告)日: | 2019-09-20 |
发明(设计)人: | 李倩;苏辉;牛成 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F17/27 | 分类号: | G06F17/27;G06F16/332;G06N3/04;G06N3/08 |
代理公司: | 广州华进联合专利商标代理有限公司 44224 | 代理人: | 李文渊;何平 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 问题语句 时间步 复制 编码表示 单词 改写 存储介质 记忆网络 目标单词 语句 指针 概率确定 继续执行 历史信息 双向编码 准确率 概率 申请 网络 答案 携带 预测 | ||
1.一种问题语句的改写方法,包括:
分别对问题语句和历史语句进行双向编码,得到所述问题语句和所述历史语句中各单词的编码表示;
基于长短期记忆网络和指针网络,根据所述编码表示确定当前时间步各单词的复制概率;所述各单词的复制概率,是对相应的单词进行复制以得到改写后的问题语句的概率;
根据所述复制概率确定当前时间步需要进行复制的目标单词;
将下一时间步确定为当前时间步;继续执行基于长短期记忆网络和指针网络,根据所述编码表示确定当前时间步各单词的复制概率的步骤;直到确定完所有时间步需要进行复制的目标单词时,得到携带有关键历史信息的改写后的问题语句。
2.根据权利要求1中所述的方法,其特征在于,所述基于长短期记忆网络和指针网络,根据所述编码表示确定当前时间步各单词的复制概率包括:
基于长短期记忆网络,根据所述编码表示分别确定当前时间步从所述问题语句和所述历史语句中复制内容的第一复制概率;
将当前时间步的隐式状态和所述编码表示输入指针网络,得到当前时间步各单词在所属语句中的第二复制概率;
基于所述第一复制概率和所述第二复制概率确定各单词的复制概率。
3.根据权利要求2中所述的方法,其特征在于,所述基于长短期记忆网络,根据所述编码表示分别确定当前时间步从所述问题语句和所述历史语句中复制内容的第一复制概率包括:
将上一时间步的历史隐式状态、历史上下文向量和历史目标单词输入长短时记忆网络,得到当前时间步的隐式状态;
根据所述隐式状态和所述编码表示并基于注意力机制,确定当前时间步的上下文向量;
根据所述隐式状态、上下文向量和历史目标单词,分别确定当前时间步从所述问题语句和所述历史语句中复制内容的第一复制概率。
4.根据权利要求1-3任一项所述的方法,所述方法还包括:
发送所述改写后的问题语句至答案预测模型,得到所述改写后的问题语句的预测答案;
基于根据所述预测答案和标准答案确定的奖赏值对改写策略进行优化。
5.一种问题改写模型的优化方法,包括:
将训练数据输入问题改写模型;所述训练数据包括问题语句和历史语句;
通过所述问题改写模型根据所述历史语句对所述问题语句进行改写,得到携带有关键历史信息的改写后的问题语句;
将所述改写后的问题语句输入答案预测模型,得到所述改写后的问题语句的预测答案;
根据所述预测答案和标准答案确定奖赏值,并基于所述奖赏值对所述问题改写模型进行优化;
继续执行将训练数据输入问题改写模型的步骤;直到所述奖赏值符合收敛条件。
6.根据权利要求5所述的方法,其特征在于,所述通过所述问题改写模型根据所述历史语句对所述问题语句进行改写,得到携带有关键历史信息的改写后的问题语句包括:
通过所述问题改写模型分别对所述问题语句和所述历史语句进行双向编码,得到所述问题语句和所述历史语句中各单词的编码表示;
通过所述问题改写模型的长短期记忆网络和指针网络,根据所述编码表示确定当前时间步各单词的复制概率;所述各单词的复制概率,是对相应的单词进行复制以得到改写后的问题语句的概率;
通过所述问题改写模型根据所述复制概率确定当前时间步需要进行复制的目标单词;
将下一时间步确定为当前时间步;继续执行通过所述问题改写模型的长短期记忆网络和指针网络,根据所述编码表示确定当前时间步各单词的复制概率的步骤;直到确定完所有时间步需要进行复制的目标单词时,得到携带有关键历史信息的改写后的问题语句。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910431357.8/1.html,转载请声明来源钻瓜专利网。