[发明专利]一种文本生成方法及装置有效
申请号: | 201910922716.X | 申请日: | 2019-09-26 |
公开(公告)号: | CN112560398B | 公开(公告)日: | 2023-07-04 |
发明(设计)人: | 王璐;焦阳;刘杰;杨羿;李一;朱延峰;陈晓冬;刘林 | 申请(专利权)人: | 百度在线网络技术(北京)有限公司 |
主分类号: | G06F40/126 | 分类号: | G06F40/126;G06F40/30;G06F18/24;G06N3/04;G06N3/08 |
代理公司: | 北京银龙知识产权代理有限公司 11243 | 代理人: | 曹娜 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 文本 生成 方法 装置 | ||
1.一种文本生成方法,其特征在于,包括:
获取多个文本生成需求信息;
对所述多个文本生成需求信息采用多种编码方式进行编码处理,得到多个编码结果,基于所述多个编码结果得到上下文向量;
基于所述多个文本生成需求信息相关的控制信号、所述多个文本生成需求信息相关的主题相关性控制方式、以及所述上下文向量,进行解码处理得到目标文本;
其中,所述编码处理包括采用以下公式执行处理:
其中,Encoderi表示第i个编码器Encoder,xi1xi2···xij表示输入编码器Encoder的词序列,表示通过Encoderi后词xij的隐藏层状态向量,a表示attention的计算函数,hk表示attention计算函数中使用的队列query向量,k表示第k个时间步的query向量,αij表示第i个编码器Encoder的第j个隐藏层向量的权重,c为上下文向量,N为编码器Encoder个数。
2.根据权利要求1所述的方法,其特征在于,所述多个文本生成需求信息中不同的文本生成需求信息对应不同属性;
所述对所述多个文本生成需求信息采用多种编码方式进行编码处理之前,所述方法还包括:
基于不同文本生成需求信息的不同属性,选取不同文本生成需求信息对应的编码方式。
3.根据权利要求1所述的方法,其特征在于,所述基于所述多个编码结果得到上下文向量,包括:
基于注意力Attention机制将所述多个编码结果进行处理,得到上下文向量。
4.根据权利要求1所述的方法,其特征在于,所述基于所述多个文本生成需求信息相关的控制信号、所述多个文本生成需求信息相关的主题相关性控制方式、以及所述上下文向量,进行解码处理得到目标文本,包括:
基于所述多个文本生成需求信息相关的控制信号对所述上下文向量的解码处理,并采用所述多个文本生成需求信息相关的主题相关性控制方式对所述解码处理进行主题控制,得到解码处理后的至少一个文本信息;
通过计算所述至少一个文本中每个文本的整体概率来确定一个文本作为目标文本。
5.一种文本生成装置,其特征在于,包括:
编码单元,用于获取多个文本生成需求信息;对所述多个文本生成需求信息采用多种编码方式进行编码处理,得到多个编码结果,基于所述多个编码结果得到上下文向量;
解码单元,用于基于所述多个文本生成需求信息相关的控制信号、所述多个文本生成需求信息相关的主题相关性控制方式、以及所述上下文向量,进行解码处理得到目标文本;
其中,所述编码处理包括采用以下公式执行处理:
其中,Encoderi表示第i个编码器Encoder,xi1xi2···xij表示输入编码器Encoder的词序列,表示通过Encoderi后词xij的隐藏层状态向量,a表示attention的计算函数,hk表示attention计算函数中使用的队列query向量,k表示第k个时间步的query向量,αij表示第i个编码器Encoder的第j个隐藏层向量的权重,c为上下文向量,N为编码器Encoder个数。
6.根据权利要求5所述的装置,其特征在于,所述多个文本生成需求信息中不同的文本生成需求信息对应不同属性;
所述编码单元,用于基于不同文本生成需求信息的不同属性,选取不同文本生成需求信息对应的编码方式。
7.根据权利要求5所述的装置,其特征在于,所述编码单元,用于基于注意力Attention机制将所述多个编码结果进行处理,得到上下文向量。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于百度在线网络技术(北京)有限公司,未经百度在线网络技术(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910922716.X/1.html,转载请声明来源钻瓜专利网。