[发明专利]一种限定采样文本序列生成方法及其系统有效
申请号: | 201911200838.4 | 申请日: | 2019-11-29 |
公开(公告)号: | CN111027292B | 公开(公告)日: | 2021-05-28 |
发明(设计)人: | 杨杨;丹晓东;房超;喻鹏;徐思雅;邵苏杰;郭少勇;陶卓;董婧;王建鑫;刘祖龙 | 申请(专利权)人: | 北京邮电大学;北京智芯微电子科技有限公司 |
主分类号: | G06F40/166 | 分类号: | G06F40/166;G06F40/242;G06F40/30;G06N3/04;G06N3/08 |
代理公司: | 北京路浩知识产权代理有限公司 11002 | 代理人: | 郑朝然 |
地址: | 100876 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 限定 采样 文本 序列 生成 方法 及其 系统 | ||
1.一种限定采样文本序列生成方法,其特征在于,包括:
S1:将初始文本序列输入至训练好的对抗网络模型,获取预输出文本序列的第一个词,所述对抗网络模型包括生成器和判别器;
S2:基于词表掩模的方法,利用所述生成器根据所述第一个词,从字典数据库中选取所述第一个词的下一个词,构成预输出文本序列;
S3:基于词表掩模的方法,根据所述预输出文本序列,继续选取所述预输出文本序列的下一个词,获取新的预输出文本序列;
S4:迭代执行步骤S2-S3,直至所述新的预输出文本序列的总词数达到设定阈值时,将所述新的预输出文本序列 输入至所述判别器进行判别,并根据分类判别结果计算更新梯度;
S5:根据所述更新梯度更新所述生成器的参数,并再次输入所述初始文本序列至更新后的生成器中;
S6:迭代执行步骤S2-S5直至所述生成器和判别器均收敛后,输出目标文本序列;
所述基于词表掩模的方法,根据所述预输出文本序列,继续选取所述预输出文本序列的下一个词,获取新的预输出文本序列,包括:
利用Word2Vector语言模型,将所述字典数据库中的每个文本数据转换成对应的词向量,获取字典向量集;
计算所述字典向量集中的每个词向量的词掩模向量;
根据所述预输出文本序列中最新生成的m个词的词掩模向量,获取当前时间步的掩模向量;
根据所述当前时间步的掩模向量,确定所述预输出文本序列的下一个词,获取新的预输出文本序列。
2.根据权利要求1所述的限定采样文本序列生成方法,其特征在于,所述计算所述字典向量集中的每个词向量的词掩模向量,包括:
计算每个所述词向量在真实序列中,后面出现的k个邻近词向量与所述字典向量集中所有词向量之间的相似度,其中k≥1;
若所述k个邻近词向量中任一邻近词向量的所有相似度均小于设定阈值,则在所述词向量的掩模向量上置0,否则置1,从而获取每个所述任一邻近词向量的掩模向量;
根据所有所述邻近词向量的掩模向量确定所述词向量的掩模向量。
3.根据权利要求2所述的限定采样文本序列生成方法,其特征在于,所述计算每个所述词向量在真实序列中,后面出现的k个邻近词向量与所述字典向量集中所有词向量之间的相似度,包括:
其中,A和B分别表示k个邻近词向量中任一邻近词向量以及字典向量集中的任一词向量;n为词向量的维度。
4.根据权利要求2所述的限定采样文本序列生成方法,其特征在于,所述根据所有所述邻近词向量的掩模向量确定所述词向量的掩模向量,包括:
其中,为邻近词向量的掩模向量,Mword为词向量的掩模向量,为对k个邻近词向量的掩模向量进行或运算。
5.根据权利要求1所述的限定采样文本序列生成方法,其特征在于,所述根据所述预输出文本序列中最新生成的m个词的词掩模向量,获取当前时间步的掩模向量,包括:
其中,Mt为当前时间步的掩模向量,为对预输出文本序列中最新生成的m个词的词掩模向量进行或运算。
6.根据权利要求1所述的限定采样文本序列生成方法,其特征在于,所述根据所述当前时间步的掩模向量,确定所述预输出文本序列的下一个词,获取新的预输出文本序列,包括:
利用所述当前时间步的掩模向量对所述字典向量集中的每个词向量进行过滤,获取过滤后的字典向量集;
利用所述生成器从所述过滤后的字典向量集中选择所述预输出文本序列的下一个词。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京邮电大学;北京智芯微电子科技有限公司,未经北京邮电大学;北京智芯微电子科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911200838.4/1.html,转载请声明来源钻瓜专利网。