[发明专利]基于突触-阈值协同的脉冲神经网络学习方法在审
申请号: | 202210644672.0 | 申请日: | 2022-06-09 |
公开(公告)号: | CN115809700A | 公开(公告)日: | 2023-03-17 |
发明(设计)人: | 郭大庆;孙宏泽;尧德中 | 申请(专利权)人: | 电子科技大学 |
主分类号: | G06N3/084 | 分类号: | G06N3/084;G06N3/049;G06N3/08;G06N3/0499 |
代理公司: | 成都虹盛汇泉专利代理有限公司 51268 | 代理人: | 王伟 |
地址: | 611731 四川省成*** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 突触 阈值 协同 脉冲 神经网络 学习方法 | ||
1.一种基于突触-阈值协同的脉冲神经网络学习方法,包括如下步骤:
S1.搭建脉冲神经网络;
S2.初始化脉冲神经网络参数:包括突触权重、神经元阈值、神经元膜电位、神经元膜时间常数、时间窗长度以及网络优化器具体参数;
S3.输入数据编码:图片的每个像素点或音频信号的每个通道将对应一个脉冲神经元进行编码,编码后的脉冲被传入隐藏层进行信息处理;
S4.数据前向传播:将编码后的脉冲传入脉冲神经网络,根据突触权重和神经元阈值更新神经元膜电位并生成神经元脉冲,通过解码层得到网络输出,最后通过损失函数和数据标签获取网络监督误差;
S5.数据反向传播:根据突触-阈值协同学习方法更新突触权重和神经元阈值;
S6.测试网络精度:若网络精度稳定,则停止网络训练。
2.根据权利要求1所述的一种基于突触-阈值协同的脉冲神经网络学习方法,其特征在于,步骤S1所述的脉冲神经网络由泄露整合发放(LIF)脉冲神经元构成,LIF神经元为离散模式,公式如下:
其中,第i个神经元在t时刻的神经元膜电位为在t-1时刻的膜电位为第i个神经元在t时刻的脉冲发放为在t-1时刻的脉冲发放为第i个神经元的膜电位衰减常数为δi,为第i个神经元在t时刻的输入信息,为第j个神经元在t时刻的脉冲发放,为连接第i个神经元和第j个神经元的突触权重,vth,i为第i个神经元的神经元阈值。
3.根据权利要求2所述的一种基于突触-阈值协同的脉冲神经网络学习方法,其特征在于,步骤S2所述的突触权重W服从均匀分布其中,fan_in为赋权张量的元素数量;神经元初始阈值vth,i;神经元初始膜电位全部设置为0mV。
4.根据权利要求3所述的一种基于突触-阈值协同的脉冲神经网络学习方法,其特征在于,步骤S4选取均方误差(MSE)作为损失函数,公式如下:
其中,S为样本数量,N代表编码层,T表示时间窗长度,ys为样本s的标签,为脉冲神经网络接收样本s后,编码层在t时刻的脉冲发放情况。
5.根据权利要求4所述的一种基于突触-阈值协同的脉冲神经网络学习方法,其特征在于,步骤S5的具体过程如下:
根据链式求导法则,损失函数对神经元脉冲发放和神经元膜电位的偏导数公式如下:
其中,为第n层第i个神经元在t时刻的脉冲发放情况,为第n层第i个神经元在t时刻的神经元膜电位,l(n+1)表示第n+1层神经元的数量;
基于以上公式,得到损失函数对各层突触权重和神经元阈值的偏导数:
其中,Wn为矩阵,表示第n层神经元的突触权重;ut,n,xt,n,ot,n为列向量,表示第n层在t时刻的神经元膜电位、输入信息和脉冲发放情况;为列向量,表示第n层神经元的放电阈值;
在时空反向传播过程中使用替代函数对发放脉冲的过程进行近似处理,替代函数公式如下:
其中,arctan()表示反正切函数,为第n层第i个神经元在t时刻的神经元膜电位,为第n层第i个神经元的放电阈值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于电子科技大学,未经电子科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210644672.0/1.html,转载请声明来源钻瓜专利网。