[发明专利]一种基于混合精度存储的深度神经网络加速器

权利要求书

1.一种基于混合精度存储的深度神经网络加速器，其特征在于，包括：

索引缓存模块，用于存储训练好的权重、权重符号位以及权重位置索引参数霍夫曼编码，

输入数据缓存模块，用于存储输入数据，

缓存控制模块，用于生成索引缓存模块和输入数据缓存模块的读写地址，

霍夫曼解码器，对权重位置索引参数的霍夫曼编码进行双查找表的霍夫曼解码完成位置索引操作，输出权重位置索引参数至索引缓存模块，

位宽可控的批乘加计算模块，对从索引缓存模块读取的权重按照权值大小分配存储单元的数据位宽，不同位宽的存储单元存储有各权重的有效位、符号位、位置索引参数，根据位置索引参数对从输入数据缓存模块读取的输入数据进行位宽调整，对经位宽处理后的输入数据和混合存储的权重进行乘加计算，输出乘加计算结果，

寄存器阵列，用于缓存乘加计算结果，

非线性计算模块，对读取的乘加计算结果进行非线性计算，

输出数据缓存模块，用于缓存乘加计算结果或非线性计算结果，及，

控制模块，用于生成索引缓存模块的读写指令、输入数据缓存模块的读写指令、霍夫曼解码器的工作指令、位宽可控的批乘加计算模块的位宽控制指令、非线性计算结果存储的调度指令。

2.根据权利要求1所述一种基于混合精度存储的深度神经网络加速器，其特征在于，所述霍夫曼解码器包括：

触发器，在累加器输出的进位信号的使能下输出读取的权重位置索引参数的霍夫曼编码至桶形移位器，

桶形移位器，在累加器输出的累加信号的使能下，对读取的权重位置索引参数霍夫曼编码进行移位操作后输出，

选择单元，对桶形移位器输出的权重位置索引参数霍夫曼编码的高位数据进行检测，在权重位置索引参数霍夫曼编码的高位数据不全为1时输出第一查找表的使能信号及多路复用器输出第一查找表查表结果的选择信号，在权重位置索引参数霍夫曼编码的高位数据全部为1时输出第二查找表的使能信号及多路复用器输出第二查找表查表结果的选择信号，

第一查找表，存储有常用的权重位置索引参数的霍夫曼编码，在选择单元的使能下输出权重位置索引参数霍夫曼编码高位数据的码长和标志状态，

第二查找表，存储有剩余的权重位置索引参数的霍夫曼编码，在选择单元的使能下输出权重位置索引参数霍夫曼编码低位数据的码长和标志状态，

多路复用器，在选择单元的使能下输出第一查找表的查表结果或第二查找表的查表结果，及，

累加器，对多路复用器输出的码长进行累加，输出进位信号至触发器，输出累加信号至桶形移位器。

3.根据权利要求1所述一种基于混合精度存储的深度神经网络加速器，其特征在于，所述位宽可控的批乘加计算模块包括多个PE单元，每个PE单元包括：

FIFO，用于缓存从输入数据缓存模块读取的输入数据，

存储器，读取索引缓存模块缓存的权重，按照权值大小为每个权重分配存储有效位、符号位、位置索引参数单元的数据位宽，

数据解析模块，对存储器存储的数据进行解析获得权重，根据解析获得的位置索引参数生成位宽控制信号，及，

乘加单元，在位宽控制信号的作用下对从FIFO读取的输入数据进行位宽调整，对位宽调整后的输入数据和数据解析模块输出的权重进行批乘加运算。

4.根据权利要求1所述一种基于混合精度存储的深度神经网络加速器，其特征在于，根据位置索引参数对从输入数据缓存模块读取的输入数据进行位宽调整具体为：在位置索引参数表征权重为调用频率高且精度要求高的高比特权值时将输入数据调整为高位宽数据，在位置索引参数表征权重为调用频率低且精度要求低的低比特权值时将输入数据调整为低位宽数据。

5.根据权利要求4所述一种基于混合精度存储的深度神经网络加速器，其特征在于，所述乘法单元为对数乘法器。

6.一种基于混合精度存储的深度神经网络加速方法，其特征在于，对权重位置索引参数的霍夫曼编码进行双查找表的霍夫曼解码完成位置索引操作，对权重按照权值大小分配存储单元的数据位宽，不同位宽的存储单元存储有各权重的有效位、符号位、位置索引参数，根据位置索引参数对输入数据进行位宽调整，对经位宽处理后的输入数据和混合存储的权重进行乘加计算。