[发明专利]一种稀疏矩阵与向量的压缩方法有效
申请号: | 201910982345.4 | 申请日: | 2019-10-16 |
公开(公告)号: | CN110766136B | 公开(公告)日: | 2022-09-09 |
发明(设计)人: | 杨建磊;赵巍胜;付文智 | 申请(专利权)人: | 北京航空航天大学 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/063;G06N3/08;G06N5/04 |
代理公司: | 北京航智知识产权代理事务所(普通合伙) 11668 | 代理人: | 黄川;史继颖 |
地址: | 100191*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 稀疏 矩阵 向量 压缩 方法 | ||
1.一种应用于脉动阵列架构的神经网络处理器的稀疏向量压缩方法,其特征在于,包括如下步骤:
(1)按照给定的长度对向量中的元素进行分段;
(2)标注每一数据在段内的偏移值,具体为对段内元素xi,其偏移值记为N-i,xi为该段内的第i个元素,N为段内元素总数;
(3)判断段内的元素为非零元素或零元素;
(4)若段内无非零元素,则于该段中保留一个零元素以进行占位;若段中有非零元素,则移除段内所有的零元素;
(5)对段中的数据进行EOG标注;具体为对剩余元素中偏移值最大的元素标记为1,对其他元素标记为0;
所述压缩方法应用于脉动阵列架构的神经网络处理器,压缩后的向量送入处理器的计算单元中进行处理;具体地,所述脉动阵列架构的神经网络处理器包括存储单元、控制单元、汇流阵列、稀疏矩阵运算阵列和计算单元;其中所述存储单元用以存储神经网络权值、梯度、特征以及用于数据流调度的指令序列;所述控制单元与存储单元相连接,并依据指令序列的调度,从存储中获取所需数据,并将所述数据重整为矩阵运算的形式后经由汇流阵列桥接后送入到稀疏矩阵运算阵列以完成相应计算;
所述汇流阵列由多个汇流单元CE组成,每个汇流单元CE内部均包含局部存储器;并可从阵列外或相邻汇流单元CE接收数据;每一汇流单元CE可将接收到的数据暂存在内部缓存或输出到阵列之外;具体为,每个汇流单元CE包括阵列外输入端口C和阵列外输出端口D,以及与其余汇流单元CE的数据端口A和B,各汇流单元CE通过C端口接收由阵列外输入的数据;通过A与B端口与其余汇流单元CE进行数据交换;通过D端口将数据输出到阵列外;
所述计算单元接收稀疏矩阵运算阵列的计算结果,对其进一步完成非线性激活函数、池化操作以完成最终计算。
2.一种应用于脉动阵列架构的神经网络处理器的稀疏向量的压缩方法,其特征在于,包括如下步骤:
(1)按照给定的长度对向量中的元素进行分段;
(2)标注每一数据在段内的偏移值,具体为对段内元素xi,其偏移值记为i-1,xi为该段内的第i个元素;
(3)判断段内的元素为非零元素或零元素;
(4)若段内无非零元素,则于该段中保留第一个或任意一个零元素以进行占位;若段中有非零元素,则移除段内所有的零元素;
(5)对段中的数据进行EOG标注;具体为对剩余元素中偏移值最大的元素标记为1,对其他元素标记为0;
所述压缩方法应用于脉动阵列架构的神经网络处理器,压缩后的向量送入处理器的计算单元中进行处理;具体地,所述脉动阵列架构的神经网络处理器包括存储单元、控制单元、汇流阵列、稀疏矩阵运算阵列和计算单元;其中所述存储单元用以存储神经网络权值、梯度、特征以及用于数据流调度的指令序列;所述控制单元与存储单元相连接,并依据指令序列的调度,从存储中获取所需数据,并将所述数据重整为矩阵运算的形式后经由汇流阵列桥接后送入到稀疏矩阵运算阵列以完成相应计算;
所述汇流阵列由多个汇流单元CE组成,每个汇流单元CE内部均包含局部存储器;并可从阵列外或相邻汇流单元CE接收数据;每一汇流单元CE可将接收到的数据暂存在内部缓存或输出到阵列之外;具体为,每个汇流单元CE包括阵列外输入端口C和阵列外输出端口D,以及与其余汇流单元CE的数据端口A和B,各汇流单元CE通过C端口接收由阵列外输入的数据;通过A与B端口与其余汇流单元CE进行数据交换;通过D端口将数据输出到阵列外;
所述计算单元接收稀疏矩阵运算阵列的计算结果,对其进一步完成非线性激活函数、池化操作以完成最终计算。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京航空航天大学,未经北京航空航天大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910982345.4/1.html,转载请声明来源钻瓜专利网。