[发明专利]生成式对抗网络装置及训练方法有效
申请号: | 201811461559.9 | 申请日: | 2018-12-02 |
公开(公告)号: | CN109543827B | 公开(公告)日: | 2020-12-29 |
发明(设计)人: | 林钰登;吴华强;高滨;钱鹤 | 申请(专利权)人: | 清华大学 |
主分类号: | G06N3/06 | 分类号: | G06N3/06 |
代理公司: | 北京市柳沈律师事务所 11105 | 代理人: | 彭久云 |
地址: | 100084*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 生成 对抗 网络 装置 训练 方法 | ||
一种生成式对抗网络装置及其训练方法。该生成式对抗网络装置包括生成网络和判别网络。生成网络配置为根据输入数据生成第一样本;判别网络与生成网络耦接,且配置为接收第一样本,并基于第一样本进行训练;生成网络包括第一忆阻器阵列作为第一权重值阵列。该生成式对抗网络装置可以省略对生成网络生成的假样本添加噪声的过程,从而节省训练时间,降低资源消耗,提高生成式对抗网络的训练速度。
技术领域
本公开的实施例涉及一种生成式对抗网络装置及训练方法。
背景技术
在神经形态技术领域,可以通过构建类似人类大脑结构的计算架构来大幅提高计算机的数据处理能力和机器学习能力。与基于通用中央处理器(CPU)的串行软件实现方式相比,通过电路器件和硬件系统模拟生物神经活动的实现方式允许大量的并行计算,具有高运算速度、低功耗等优点,成为神经形态技术领域的重要研究方向。
忆阻器具有集成度高、功耗低、连续阻变、非挥发性和兼容CMOS工艺等特性,被广泛应用于神经网络电路中。由忆阻器构造的交叉阵列广泛应用于多层神经网络、自适应谐振网络以及卷积神经网络中,可以实现神经网络的权重调节。
发明内容
本公开至少一实施例提供一种生成式对抗网络装置,包括:生成网络和判别网络。所述生成网络配置为根据输入数据生成第一样本;所述判别网络与所述生成网络耦接,且配置为接收所述第一样本,并基于所述第一样本进行训练;所述生成网络包括第一忆阻器阵列作为第一权重值阵列。
例如,在本公开一实施例提供的生成式对抗网络装置中,所述判别网络还配置为接收作为真实样本的第二样本,并基于所述第二样本进行训练。
例如,在本公开一实施例提供的生成式对抗网络装置中,所述判别网络包括第二忆阻器阵列作为第二权重值阵列。
例如,本公开一实施例提供的生成式对抗网络装置,还包括代价函数单元。所述代价函数单元配置为根据判别网络代价函数得到所述判别网络的实际输出结果和所述判别网络的目标输出结果的距离;以及根据生成网络代价函数得到所述判别网络的实际输出结果和所述生成网络的目标输出结果的距离。
例如,本公开一实施例提供的生成式对抗网络装置,还包括计算单元。所述计算单元与所述代价函数单元耦接,且配置为根据所述判别网络代价函数获得的距离计算所述第一样本的梯度和所述第二样本的梯度,并将所述第一样本的梯度和所述第二样本的梯度相加得到第一梯度;以及,根据所述生成网络代价函数获得的距离计算所述第一样本的梯度,作为第二梯度。
例如,本公开一实施例提供的生成式对抗网络装置,还包括权重更新单元。所述权重更新单元与所述计算单元耦接,且配置为交替调整所述生成网络的第一忆阻器阵列的电导值和所述判别网络的第二忆阻器阵列的电导值;其中,根据所述第一梯度调整所述判别网络的第二忆阻器阵列的电导值;以及根据所述第二梯度调整所述生成网络的第一忆阻器阵列的电导值。
例如,在本公开一实施例提供的生成式对抗网络装置中,所述权重更新单元还配置为:获取所述判别网络的第二忆阻器阵列的初始电导值;基于所述第一梯度的符号调整所述判别网络的第二忆阻器阵列的初始电导值以获得调整后的电导值;判断所述判别网络中的调整后的电导值相对于所述初始电导值的变化方向,是否与所述第一梯度的符号一致;如果是或对所述第二忆阻器阵列的电导值的调整次数达到预定次数,则停止调整所述判别网络中的第二忆阻器阵列的电导值;如果否,则基于所述第一梯度的符号重新对所述第二忆阻器阵列的电导值进行调整。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华大学,未经清华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811461559.9/2.html,转载请声明来源钻瓜专利网。
- 上一篇:自动除冰式单门冰箱
- 下一篇:一种适用于流水线的可视化监控和回溯仿真系统