[发明专利]一种多模态神经形态网络核

权利要求书

1.一种多模态神经形态网络核，其特征在于，包括：模式寄存器、轴突输入单元、突触权重存储单元、树突单元和神经元计算单元；

所述模式寄存器与所述轴突输入单元、树突单元以及神经元计算单元连接，控制上述单元运行在人工神经网络模式或脉冲神经网络模式；

所述轴突输入单元与所述树突单元连接，接收并存储轴突输入；

所述突触权重存储单元与所述树突单元连接，存储突触权重矩阵；

所述树突单元与所述神经元计算单元连接，包括树突乘加单元与树突累加单元，运行在人工神经网络模式时，所述轴突输入向量与突触权重矩阵送入所述树突乘加单元进行乘加运算，运行在脉冲神经网络模式时，所述轴突输入向量与突触权重矩阵送入所述树突累加单元进行累加运算；

所述神经元计算单元包括第一计算单元与第二计算单元，运行在人工神经网络模式时，所述树突乘加单元发来的乘加运算结果送入所述第一计算单元进行人工神经网络运算，运行在脉冲神经网络模式时，所述树突累加单元发来的累加运算结果送入所述第二计算单元进行脉冲神经网络计算。

2.如权利要求1所述的多模态神经形态网络核，其特征在于，所述多模态神经形态网络核进一步包括触发信号计数器，所述触发信号计数器与所述轴突输入单元连接，接收触发信号并记录触发信号数，即当前时间步，并将该触发信号数发送给所述轴突输入单元。

3.如权利要求1所述的多模态神经形态网络核，其特征在于，所述多模态神经形态网络核进一步包括控制器，所述控制器与所述轴突输入单元、突触权重存储单元、树突单元、神经元计算单元连接，控制与其连接的上述单元的运行时序，所述控制器控制所述多模态神经形态网络核的启动和终止。

4.如权利要求1所述的多模态神经形态网络核，其特征在于，所述树突乘加单元包括乘法器和加法器，用于计算其树突上突触权重向量与轴突输入向量的乘积。

5.如权利要求3所述的多模态神经形态网络核，其特征在于，所述第一计算单元包含一个查找表，将所述乘加结果作为查找表的地址输入查找表，该地址所存储的输出即为神经元输出。

6.如权利要求5所述的多模态神经形态网络核，其特征在于，人工神经网络模式下所述多模态神经形态网络核一个时间步的运行流程包括以下步骤：

S11，检测到触发信号后，所述触发信号计数器循环自加1，所述控制器启动多模态神经形态网络核运行；

S12，所述轴突输入单元根据所述触发信号计数器的值读出当前时间步轴突输入向量，并发送到所述树突乘加单元，所述突触权重存储单元依次读出1～n号神经元树突突触权重向量，并发送到所述树突乘加单元；

S13，所述树突乘加单元按照输入顺序依次计算所述轴突输入向量与所述1～n号神经元树突突触权重向量乘积，并发送到所述第一计算单元；

S14，所述第一计算单元将所述树突乘加单元的输出作为查找表地址，得出神经元输出；

S15，所述控制器停止该多模态神经形态网络核运行，并返回步骤S11。

7.如权利要求1所述的多模态神经形态网络核，其特征在于，所述树突累加单元包括数据选择器和加法器，依次计算每条树突上当前时间步所有激活突触的权重和。

8.如权利要求3所述的多模态神经形态网络核，其特征在于，所述第二计算单元中神经元为积分-泄漏-点火模型，所述第二计算单元包括：树突拓展存储单元、参数存储单元和积分泄漏计算单元，所述拓展存储单元与所述积分泄漏计算单元连接，存储发送端神经元膜电位值，所述参数存储单元与所述积分泄漏计算单元连接，存储神经元的膜电位、阈值和泄漏值，所述积分泄漏计算单元执行积分-泄漏-点火操作。