[发明专利]一种基于生成对抗网络的文本隐写方法有效
申请号: | 201810833603.8 | 申请日: | 2018-07-26 |
公开(公告)号: | CN108923922B | 公开(公告)日: | 2021-04-23 |
发明(设计)人: | 段大高;赵振东;韩忠明;崔岩松 | 申请(专利权)人: | 北京工商大学 |
主分类号: | H04L9/08 | 分类号: | H04L9/08;H04L12/24;G06N3/08;G06N3/04 |
代理公司: | 北京盛询知识产权代理有限公司 11901 | 代理人: | 张海青 |
地址: | 100048*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 生成 对抗 网络 文本 方法 | ||
1.一种基于生成对抗网络的文本隐写方法,其特征在于,包括:
基于生成对抗网络的文本生成模型:生成对抗网络由两部分组成,第一部分是生网络,第二部分是判别网络,让生网络和判别网络相互竞争,通过生成网络来生成假的数据,对抗网络通过判别器判别真伪,最后以生成网络生成的数据来以假乱真骗过判别器;
优化生成对抗网络:生成对抗网络的优化用生成器G和判别器D的零和博弈游戏来表示,其优化目标函数公式为
在生成对抗网络的优化过程中,需要训练生成器G来最大化判别数据来源真实数据还是生成数据,同时还需要训练生成模型来最小化使得生成的数据更加能够骗过判别器D,采用交替优化的方法,先固定生成器G,优化判别器D,使得判别器D达到最优,然后固定判别器D,优化生成器G,使得判别器D的判别准确率下降,当且仅当Pdata=Pg,即判别器D对真实采样样本和生成样本,输出概率都是0.5时达到全局最优解;
训练文本生成模型:生成器G生成每一个词看做一个强化学习中代理决策过程,同时借用策略梯度算法来优化生成器G,并在训练过程中用正样本辅助训练技巧,提升算法收敛速度和算法稳定性,生成器G用两层单向的LSTM神经网络实现,θ是网络的参数,判别器D用多层卷积网络实现;生成器G生成的文本数据标记为负样本,采样得到的真实文本数据标记位正样本,将生成器G生成负样本和采样得到的正样本同时输入判别器进行迭代优化,是判别网络参数,判别器损失函数采用交叉熵损失函数,如下公式(2)所示,y(i)是输入数据的标签生成器生成数据定义为0,真实语料库采样数据标记为1;
当训练生成器G时,把判别器D参数固定,对于生成器Gθ,其训练目标是最终生成合理的文本序列,而对于文本合理性的评价用判别器D来实现,当生成器G生成完成一个完整的序列,将其输入判别器即可得到判别结果作为Reward,生成器G优化的目标就是最大化Reward值,生成器的损失函数如公式(3)所示,RT是一个完整序列y1;T的Reward值,由判别器D给出,Gθ(yt|S0;t-1)代表生成器Gθ根据历史状态S0;t-1产生决策行为,即产生当前词yt的概率值;
文本隐写算法:首先根据ASCII码将待加密的密文映射为二进制串S,然后将二进制串S切分为长度为|B|的片段,最后文本生成模型根据上述片段序列生成隐写文本;
在文本隐写算法中,密钥是一个特定的将片段序列转化为词语集合的映射表,将语料库中所有词汇随机采样分成2|B|个分块,每个块是不相交的词汇集合;
在语料库中每个词恰好出现在一个分块中,并且每个分块的包含词语的大小是|V|/2|B|个,其中|V|表示语料库单词表的个数;
文本生成模型把现有生成序列作为输入/输出必须从二进制片段对应的词汇集合中选出一个词,由于限制每一步输出必须从一个分块编码词汇集合中映射一个词,使得每个词汇集合的词语数量必须足够多,让生成的文本更加自然,最后解码器以确定的方式直接恢复原始加密数据,根据密钥映射表,将隐写文本词直接对应所属的分块编码,即可恢复了原始的二进制串。
2.根据权利要求1所述的一种基于生成对抗网络的文本隐写方法,其特征在于:在整个文本生成算法的训练过程,采用交叉迭代替换,分别训练判别器D和生成器G,直到最终判别器D分不清输入数据来源,即输出概率值为0.5,达到纳什均衡。
3.根据权利要求1所述的一种基于生成对抗网络的文本隐写方法,其特征在于:正样本辅助训练策略为每一次训练生成器时,都从真实语料库中采样出一部分正样本,然后输入判别器得到较好的Reward值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京工商大学,未经北京工商大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810833603.8/1.html,转载请声明来源钻瓜专利网。