[发明专利]用于生成文本的方法和装置有效
申请号: | 201910105002.X | 申请日: | 2019-02-01 |
公开(公告)号: | CN109829164B | 公开(公告)日: | 2020-05-22 |
发明(设计)人: | 周浩;李磊;苗宁 | 申请(专利权)人: | 北京字节跳动网络技术有限公司 |
主分类号: | G06F40/211 | 分类号: | G06F40/211;G06F40/284 |
代理公司: | 北京英赛嘉华知识产权代理有限责任公司 11204 | 代理人: | 王达佐;马晓亚 |
地址: | 100041 北京市石景山区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 用于 生成 文本 方法 装置 | ||
1.一种用于生成文本的方法,包括:
从初始文本中,选取原有词作为目标原有词;
从预定义操作集合中,选取预定义操作为目标操作,其中,所述预定义操作集合包括以下至少一项:替换操作、删除操作和插入操作;
利用所述目标操作,对所述目标原有词进行处理,生成候选文本;
基于预先确定的目标平稳分布,确定所述候选文本的接受率,其中,所述目标平稳分布与文本生成的约束条件相关;
根据所述接受率,确定是否将所述候选文本作为新生成文本。
2.根据权利要求1所述的方法,其中,所述方法还包括:
响应于确定将所述候选文本作为新生成文本,确定预设的终止条件是否满足;如果满足,则将所述新生成文本作为目标文本;
如果不满足,则将所述新生成文本作为初始文本,继续执行由初始文本生成新生成文本的步骤。
3.根据权利要求1所述的方法,其中,所述利用所述目标操作,对所述目标原有词进行处理,生成候选文本,包括以下任一项:
响应于确定所述目标操作为替换操作,从预先设置的词语集合中,选取词语作为第一候选词,以及以所述第一候选词替换所述目标原有词,得到所述候选文本;
响应于确定所述目标操作为删除操作,将所述目标原有词从所述初始文本中删除,得到所述候选文本;
响应于确定所述目标操作为插入操作,从预先设置的词语集合中,选取词语作为第二候选词,以及将所述第二候选词插入到以下任一位置:所述目标原有词与前临词之间、所述目标原有词与后临词之间。
4.根据权利要求1所述的方法,其中,所述约束条件包括以下至少一项:文本流畅度约束条件、硬约束条件和软约束条件,其中,所述硬约束条件指示文本中期望包括的关键词,所述软约束条件用于指示两个文本之间的相似度确定方式。
5.根据权利要求1所述的方法,其中,所述方法还包括:
从任务标识集合中,选取任务标识作为目标任务标识,其中,所述任务标识集合中的任务标识与期望平稳分布对应;
获取所述目标任务标识对应的期望平稳分布,以及将所获取的期望平稳分布确定为目标平稳分布。
6.根据权利要求1所述的方法,其中,目标任务标识指示的任务为以下任意一项:由关键词生成句子,无监督的释义生成,无监督度句子校正。
7.根据权利要求1-6中任一项所述的方法,其中,所述方法还包括:
以所述初始文本和所述候选文本为马尔科夫链的不同状态,确定所述初始文本到所述候选文本的第一转移概率,以及确定所述候选文本到所述初始文本的第二转移概率。
8.根据权利要求7所述的方法,所述基于预先确定的目标平稳分布,确定所述候选文本的接受率,包括:
根据所述目标平稳分布,确定所述初始文本的第一概率分布,以及确定所述候选文本的第二概率分布;
根据所述第一转移概率、所述第二转移概率、所述第一概率分布和所述第二概率分布,确定所述接受率。
9.根据权利要求8所述的方法,其中,所述根据所述目标平稳分布,确定所述初始文本的第一概率分布,以及确定所述候选文本的第二概率分布,包括:
响应于确定当前任务为由关键词生成句子,根据目标关键词,确定目标硬约束条件;
根据与所述目标硬约束条件相关的目标平稳分布,确定所述第一概率分布和所述第二概率分布。
10.根据权利要求8所述的方法,其中,所述根据所述目标平稳分布,确定所述初始文本的第一概率分布,以及确定所述候选文本的第二概率分布,包括:
响应于确定当前任务为无监督的释义生成,根据所述初始文本和所述候选文本之间的相似度确定方式,确定目标软约束条件;
根据与所述目标软约束条件相关的目标平稳分布,确定所述第一概率分布和所述第二概率分布。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京字节跳动网络技术有限公司,未经北京字节跳动网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910105002.X/1.html,转载请声明来源钻瓜专利网。