[发明专利]一种基于混合精度配置的卷积神经网络加速器及其实现方法

权利要求书

1.一种基于混合精度配置的卷积神经网络加速器，其特征在于，所述卷积神经网络中的每一卷积层均由卷积神经网络加速器计算，所述卷积神经网络加速器包括低精度处理模块、高精度处理模块、片上全局缓存器和权重分离模块；卷积神经网络第一层输入为待处理的图像，最后一层输出为卷积计算完成后的图像；

所述片上全局缓存器由全局低精度权重存储器、全局高精度权重存储器、特征图全局缓存器以及计算过程中的部分和全局缓存器构成；所述特征图全局缓存器中存储着从外部存储器中读取的特征图；

所述权重分离模块用于从外部存储器中读取权重数据，依据权重位宽阈值判断权重数据为高精度权重数据或低精度权重数据，然后将低精度权重数据存入全局低精度权重存储器，将高精度权重的数据以及该高精度权重在所有权重中的位置存入全局高精度权重存储器中；

所述低精度处理模块由若干个低精度计算单元组成的矩形阵列构成，每个低精度计算单元从全局低精度权重存储器中读取低精度权重数据，并从特征图全局缓存器中读取特征图数据，矩形阵列中的每列低精度计算单元进行乘加计算并将计算结果累加，然后输出到高精度处理模块中；

所述高精度处理模块由高精度计算单元以及相加模块构成，所述高精度计算单元和相加模块个数均与低精度计算单元的列数相同；每个高精度计算单元从全局高精度权重存储器中读取高精度权重数据和该高精度权重在所有权重中的位置；每个高精度计算单元中均包含一个权重解码模块和特征图抽取模块，将权重的位置解码，得到特征图数据在所有特征图中的行数和列数、特征图数据复用信息以及输出通道数用于高精度计算单元的后续计算，具体过程为：

根据每个高精度权重在所有权重中的位置可以解码得到该高精度权重在所有权重数据中的坐标k、u、i与j； 每个高精度权重数据及其坐标可表示为W[k][u][i][j]，其中k与u表示该权重的输入通道数与输出通道数，i和j表示该权重的行数和列数；具体解码过程为：p＝i+j×S+u×S×R+k×S×R×C；其中p为高精度权重在所有权重中的位置，S为所有权重的长度，R为所有权重的高度，C为所有权重的输入通道数，其中0≤i＜S，0≤j＜R,0≤k＜C；根据上述关系，可以通过p、S、R、C的值，权重解码模块得到高精度权重在所有权重数据中的坐标k、u、i与j；

每个权重对应的特征图位置只和权重的i和j有关，具体关系为，由于上述低精度计算单元与高精度计算单元是按列相加，因此参数j决定了特征图数据在所有特征图中的列数，权重解码模块将该列数传入特征图抽取模块中；由于上述低精度计算单元与高精度计算单元并不是按行相加，因此i需要根据低精度计算单元和高精度计算单元的排列方式来实现到特征图数据在所有特征图中的行数的映射关系，将上述映射关系建立查找表，部署在权重解码模块中，参数i经过该查找表后可以得到特征图数据在所有特征图中的行数，并将该行数传入特征图抽取模块中；特征图抽取模块根据特征图数据在所有特征图中的行数与列数，从特征图全局缓存器中抽取特征图数据；

由于同一个特征图数据可能会和多个高精度权重对应，需要利用特征图数据复用信息以实现特征图数据的复用；根据卷积计算的特点，对于每个特征图数据需要与相同输入通道的权重对应，因此高精度权重的输入通道参数k可以作为特征图的复用信息；每个高精度计算单元均包含一个特征图读取模块，由权重解码模块将参数k作为特征图数据复用信息传入特征图读取模块中，特征图读取模块根据特征图数据复用信息来控制特征图抽取模块抽取到的特征图的读取，以实现特征图数据复用；

每个高精度计算单元根据高精度权重数据以及抽取到的特征图数据进行有序计算，计算时需要将多个输出通道的部分和进行累加，根据参数u控制累加时的输出通道数；在高精度计算单元计算完成后，读取权重解码模块的参数u以明确计算结果的输出通道，将计算结果输出至相加模块正确的输出通道内；

每个相加模块读取低精度计算单元组成的矩形阵列中对应列的计算结果以及对应的高精度计算单元的计算结果并相加得到部分和数据，然后输出至片上全局缓存器中的部分和全局缓存器；

重复上述过程，直至部分和全局缓存器存储了全部的计算所需的部分和数据；将部分和数据中累加得到完整的输出特征图输出至外部存储器；

由加速器计算完成卷积神经网络中的每一卷积层，得到卷积计算完成后的图像。

2.根据权利要求1所述的一种基于混合精度配置的卷积神经网络加速器，其特征在于，权重有效位宽大于权重位宽阈值的记为高精度权重，小于等于权重位宽阈值的记为低精度权重。