[发明专利]一种基于忆阻器的神经网络容错方法在审
申请号: | 202011049315.7 | 申请日: | 2020-09-29 |
公开(公告)号: | CN112199234A | 公开(公告)日: | 2021-01-08 |
发明(设计)人: | 吕艺;陈后鹏;陈成;李喜;宋志棠 | 申请(专利权)人: | 中国科学院上海微系统与信息技术研究所 |
主分类号: | G06F11/14 | 分类号: | G06F11/14;G06N3/063 |
代理公司: | 上海泰能知识产权代理事务所(普通合伙) 31233 | 代理人: | 钱文斌;黄志达 |
地址: | 200050 *** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 忆阻器 神经网络 容错 方法 | ||
本发明涉及一种基于忆阻器的神经网络容错方法,包括以下步骤:在进行神经网络权值矩阵的存储时,以某个电阻状态为目标,读出忆阻器器件电阻以获得存储阵列中的忆阻器电阻的分布;在进行权重更新时,将神经网络权重矩阵映射至存储阵列,根据权重矩阵进行存储单元映射,通过自适应算法将大的权值映射到缺陷小的忆阻器器件上,完成权重更新,实现神经网络的学习与训练。本发明实现了在其上运行的神经网络算法的稳定性和准确率,采用算法实现简化了电路复杂度,减少了芯片面积和功耗,便于忆阻器神经网络的大规模集成。
技术领域
本发明涉及硬件神经网络技术领域,特别是涉及一种基于忆阻器的神经网络容错方法。
背景技术
人工神经网络是20世纪80年代以来人工智能领域兴起的研究热点。随着技术的进步,人工智能的应用在现实的生活中也越来越普遍。然而传统的冯·诺依曼架构计算机是一种精确计算和严格执行算法指令的架构,并不适合做学习、模糊处理方面的任务。人脑可以处理复杂的感知任务,而且功耗非常低。如识别物体,对视频和音频数据的理解,语音对话等。受人类大脑工作原理的启发,人们希望以人脑为蓝本,应用生物神经网络的概念来建立仿人脑的神经网络系统,实现新一代的计算机体系结构,并针对特定的应用来降低功耗和提高性能。
忆阻器以其高密度、高速度以及高可靠性得到半导体领域的广泛关注。国内外关于忆阻器神经计算的研究重点主要集中在解决或者规避忆阻器的器件缺陷。
在硬件上,忆阻器神经计算解决方法的基本思路主要是通过冗余电路来纠正相变存储器中的故障,采用冗余行匹配算法,使用忆阻器的冗余行替换出故障的忆阻器器件。使用传统CMOS工艺中常用的AD/DA技术将模拟运算转化为数字运算,提高了忆阻器上的运算的正确率。另外,也有的硬件方法会通过不断用电流烧写忆阻器阻值的方式,来使得其阻值到合理误差范围之内。
往往神经网络技术需要消耗大量的运算资源,造成的大量的能耗。为了保证神经网络算法在运算中的实时性和灵活性,硬件上的实现需要同时具备高运算能力和低功耗的特性。而现在CMOS工艺面临着规模的限制和“内存墙”的瓶颈。忆阻器的crossbar结构是能够被用于解决神经网络运算中主要的矩阵乘法运算,相比于CMOS工艺,该设备有相当大的能效比,同等运算级别的crossbar结构拥有更小的芯片面积。但是忆阻器本身有器件上的缺陷,自身的阻值会受到温度、时间、刷写次数等因素的影响从而漂移,降低了在其上运行的神经网络算法的稳定性和准确率。通过软件方法规避忆阻器的器件缺陷,从而使神经网络以高可靠性在其上运行,成为一个亟待解决的重要问题。
纯硬件解决方法往往会消耗大量的冗余硬件资源,扩大了芯片面积,提升了功耗,这与忆阻器本身的理念并不符合。反复烧写的方式虽然没有消耗额外的硬件资源,但需要反复对芯片进行测试,这需要大量的能耗。
发明内容
本发明所要解决的技术问题是提供一种基于忆阻器的神经网络容错方法,提高在其上运行神经网络算法的稳定性和准确率。
本发明解决其技术问题所采用的技术方案是:提供一种基于忆阻器的神经网络容错方法,包括以下步骤:
(1)在进行神经网络权值矩阵的存储时,以某个电阻状态为目标,读出忆阻器器件电阻以获得存储阵列中的忆阻器电阻的分布;
(2)在进行权重更新时,将神经网络权重矩阵映射至存储阵列,根据权重矩阵进行存储单元映射,通过自适应算法将大的权值映射到缺陷小的忆阻器器件上,完成权重更新,实现神经网络的学习与训练。
所述步骤(1)中读出器件电阻时,将其他的忆阻器保持在高阻态。
所述步骤(2)中通过自适应算法将大的权值映射到缺陷小的忆阻器器件上具体为:将权值大的权重映射到器件缺陷小的忆阻器器件上,并根据权值调整的幅度,将调整幅度大的权重映射到器件缺陷小的忆阻器器件上。
所述器件缺陷包括但不限于阻值漂移、阻值不变和阻值波动。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院上海微系统与信息技术研究所,未经中国科学院上海微系统与信息技术研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011049315.7/2.html,转载请声明来源钻瓜专利网。