[发明专利]基于忆阻器的神经网络的训练装置及其训练方法有效
申请号: | 201711422918.5 | 申请日: | 2017-12-25 |
公开(公告)号: | CN108009640B | 公开(公告)日: | 2020-04-28 |
发明(设计)人: | 张清天;吴华强;姚鹏;章文强;高滨;钱鹤 | 申请(专利权)人: | 清华大学 |
主分类号: | G06N3/08 | 分类号: | G06N3/08;G06N3/04;G11C13/00 |
代理公司: | 北京市柳沈律师事务所 11105 | 代理人: | 彭久云 |
地址: | 10008*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 忆阻器 神经网络 训练 装置 及其 方法 | ||
1.一种基于忆阻器的神经网络的训练方法,所述神经网络包括逐一连接的N层神经元层,包括:
将输入数据输入所述神经网络的第一层神经元层以在第N层神经元层输出所述神经网络的输出结果,并计算第N层神经元层的输出误差;
将所述第N层神经元层的输出误差逐层反向传播以修正各个神经元层之间的权重参数;
其中,在逐层反向传播的过程中,将第m层神经元层的输出误差进行三值化处理操作,将与所述三值化处理操作的输出结果对应的电压信号反向输入至所述第m层神经元层,对所述第m层神经元层的权重参数进行修正;
其中,N为大于等于3的整数,m为大于1且小于N的整数;
其中,所述三值化处理操作包括:
设定第一阈值参数;
将所述第m层神经元层的输出误差的绝对值与所述第一阈值参数进行比较;
在所述第m层神经元层的输出误差为正值且所述第m层神经元层的输出误差的绝对值大于所述第一阈值参数的情况下,所述三值化处理操作的输出结果为1;
在所述第m层神经元层的输出误差为负值且所述第m层神经元层的输出误差的绝对值大于所述第一阈值参数的情况下,所述三值化处理操作的输出结果为-1;
在所述第m层神经元层的输出误差的绝对值小于所述第一阈值参数的情况下,所述三值化处理操作的输出结果为0。
2.根据权利要求1所述的训练方法,其中,对所述第m层神经元层的权重参数进行修正包括:
基于所述三值化处理操作的输出结果计算获得所述权重参数的改变量;
选择与所述权重参数对应的忆阻器,在所述权重参数的改变量为正的情况下,增加所述忆阻器的阻值,或者
在所述权重参数的改变量为负的情况下,减小所述忆阻器的阻值。
3.根据权利要求2所述的训练方法,其中,所述忆阻器的特性包括:
在外加正向脉冲信号的情况下,所述忆阻器的电阻值逐渐降低;
在外加反向脉冲信号的情况下,所述忆阻器的电阻值逐渐升高。
4.根据权利要求3所述的训练方法,其中,所述正向脉冲信号和所述反向脉冲信号具有固定的幅度和宽度。
5.根据权利要求2所述的训练方法,还包括对所述第N层神经元层的权重参数进行修正,其中,所述第N层神经元层的权重参数具有与所述第m层神经元层的权重参数相同的修正过程。
6.根据权利要求1所述的训练方法,还包括:
对所述神经网络的第m层神经元层的前向输出结果进行二值化处理操作。
7.根据权利要求6所述的训练方法,其中,所述二值化处理操作包括:
设定第二阈值参数;
将所述第m层神经元层的前向输出结果与所述第二阈值参数进行比较;
在所述第m层神经元层的前向输出结果大于所述第二阈值参数的情况下,所述二值化处理操作的输出结果为1;
在所述第m层神经元层的前向输出结果小于所述第二阈值参数的情况下,所述二值化处理操作的输出结果为0。
8.一种基于忆阻器的神经网络的训练装置,配置为对所述神经网络采用如权利要求1-7任一所述的训练方法进行训练。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华大学,未经清华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711422918.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种土壤修复装置
- 下一篇:一种黑番茄即食浓缩浆及其制备方法