[发明专利]一种基于集成学习的脉冲神经网络模式识别方法及系统有效
申请号: | 202010148406.X | 申请日: | 2020-03-05 |
公开(公告)号: | CN111460906B | 公开(公告)日: | 2023-05-26 |
发明(设计)人: | 周喜川;林英撑;梁松红 | 申请(专利权)人: | 重庆大学 |
主分类号: | G06V10/82 | 分类号: | G06V10/82;G06V10/94;G06V10/764;G06V20/17;G06V20/50;G06N3/0464;G06N3/049;G06N3/048;G06N3/084;G06N20/20 |
代理公司: | 北京同恒源知识产权代理有限公司 11275 | 代理人: | 赵荣之 |
地址: | 400044 重*** | 国省代码: | 重庆;50 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 集成 学习 脉冲 神经网络 模式识别 方法 系统 | ||
本发明涉及一种基于集成学习的脉冲神经网络模式识别方法及系统,属于类脑计算领域。该方法包括以下步骤:S1:建立二元SNN算法模型;S2:基于Bagging的ESNN算法模型;S3:设计基于ESNN的系统。采用基于数据流的全流水近存计算架构,输入数据经流所有的脉冲神经网络流水线,所有内存访问发生在片内且参数读取与数据严格同步。本发明通过Ensemble Learning可以有效的解决二元SNN模型性能差的固有缺陷,满足了绝大部分类脑智能计算应用的高模型性能需求。
技术领域
本发明属于类脑计算领域,涉及一种基于集成学习的脉冲神经网络模式识别方法及系统。
背景技术
脉冲神经网络(SNN)被誉为第三代人工神经网络,是人工智能计算领域近年来最热门的研究方向之一。以深度神经网络(DNN)为代表的第二代神经网络究其本质始终还是建立在复杂的数学模型基础上的,虽然其在结构上与人脑神经元结构类似,但与人脑神经元基于信号的时间(脉冲)来处理信息的计算机制有着本质的区别。为了实现真正意义上的类脑智能计算,SNN这一新兴神经网络模型得到了广泛的研究。IBM公司推出的True North架构及芯片,采用了事件触发机制来触发模块工作,实现了极低的功耗,是数字集成电路实现SNN的最具代表性之作。
脉冲神经网络应用于图像识别或模式识别领域的技术目前有很多,但是基于SNN的高能效硬件电路与系统却很少。专利CN110210613A搭建了基于强化学习的SNN硬件电路以实现XOR分类功能,专利CN109816026A将卷积神经网络(CNN)与SNN进行结构上的融合,实现了CNN信息特征提取能力强和SNN稀疏、低功耗的优势的结合,专利CN108470190A在Xilinx Virtex-7系列FPGA平台上实现定制脉冲神经网络,通过仿生视觉传感器的动态图像信号或人工转化静态图像信号来产生脉冲序列,从而搭建了基于SNN的图像识别电路系统,专利CN108985252A采用了DOG层和简化脉冲耦合神经网络的方法对图像进行预处理,实现了更贴近生物特性、简单有效的SNN模型。
现有的技术和方法大都聚焦在传统DNN到SNN的转换方法、以及寻找有效的SNN训练机制等技术问题上,但在有效解决SNN模型性能差、以及从硬件架构层面挖掘SNN模型的高能效潜力等方面还缺乏相关的技术研究。对于DNN而言,提高其模型性能的方法通常是提高模型的量化精度,而对于SNN来说,由于其采用0、1的二元脉冲信号进行信息的处理这一特殊机制,因此通过SNN模型的并行集成学习与优化,以及SNN芯片的级联形成超高计算密度的类脑计算平台来提高SNN的网络性能是未来重点的发展方向。如果考虑到目前呈指数倍增长的有着超低功耗需求的IOT设备和嵌入式边缘计算平台的应用场景,那么SNN的集成学习无疑将会成为一个重要突破点。
发明内容
有鉴于此,本发明的目的在于提供一种基于集成学习的脉冲神经网络模式识别方法。
为达到上述目的,本发明提供如下技术方案:
一种基于集成学习的脉冲神经网络模式识别方法,该方法包括以下步骤:
S1:建立二元SNN算法模型;
S2:基于Bagging的ESNN算法模型;
S3:设计基于ESNN的系统。
可选的,所述步骤S1为:
将DNN模型的权重和激活值进行二值脉冲化,采用的脉冲化函数为:
其中xb是二值的网络权重或激活;
对权重和激活进行二元脉冲处理,降低内存占用;
利用α尺度因子使二值卷积逼近实值卷积;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于重庆大学,未经重庆大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010148406.X/2.html,转载请声明来源钻瓜专利网。