[发明专利]图形处理器及其加速方法在审
申请号: | 202011048270.1 | 申请日: | 2020-09-29 |
公开(公告)号: | CN112241509A | 公开(公告)日: | 2021-01-19 |
发明(设计)人: | 张炜;顾德明 | 申请(专利权)人: | 上海兆芯集成电路有限公司 |
主分类号: | G06F17/15 | 分类号: | G06F17/15;G06F17/16;G06T1/20;G06T1/60;G06N3/063 |
代理公司: | 北京市柳沈律师事务所 11105 | 代理人: | 徐协成 |
地址: | 200000 上海市张*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 图形 处理器 及其 加速 方法 | ||
1.一种图形处理器,用以加速卷积运算,包括:
纹素单元,包括:
读取模块,从存储器中读取用于该卷积运算的原始矩阵;其中,该存储器包括彼此相邻且大小相同的多个存储区块,该原始矩阵存储在至少一所述存储区块中;
执行单元,包括:
图像块重排为矩阵列模块,用以执行图像块重排为矩阵列算法,依据卷积核(kernel)的大小,将该原始矩阵进行扩展,而得到扩展矩阵;其中,该执行单元将该扩展矩阵内的每一元素分别定义为扩展坐标;
其中,该执行单元将该扩展矩阵与该卷积核相乘,而得到对应于该原始矩阵的特征(feature map)矩阵;
其中,该读取模块接收来自该执行单元的该扩展坐标,并且依据该扩展坐标,计算出该特征矩阵的每一元素的特征坐标(w_,h_);以及依据该特征坐标、该卷积核的大小、步伐值(stride)及填充值(padding),得到该原始矩阵的每一元素的原始坐标(w_offset,h_offset);
其中,该读取模块读取该原始矩阵的每一元素的该原始坐标所涵盖的至少一所述存储区块,并且将至少一所述存储区块中对应于该原始坐标的数据传送给图像块重排为矩阵列模块。
2.如权利要求1所述的图形处理器,其中,该执行单元还包括寄存器文件(registerfile),用以在该卷积运算中存储来自该im2col模块的该原始矩阵内的数据、该扩展矩阵内的数据及该特征矩阵内的数据。
3.如权利要求1所述的图形处理器,其中,该执行单元还包括执行模块,用以依据该寄存器文件中的该原始矩阵内的数据、该扩展矩阵内的数据及该特征矩阵内的数据,执行该卷积运算。
4.如权利要求1所述的图形处理器,其中,该纹素单元还包括L1快取(cache);在该卷积运算中,该L1快取从该存储器中读取并存储用于该卷积运算的该原始矩阵,用以供该读取模块的存取。
5.如权利要求1所述的图形处理器,其中,该图形处理器还包括存储单元,用以将该执行单元所执行卷积运算的结果存入该存储器中。
6.如权利要求1所述的图形处理器,其中,该存储器所包括每一所述存储区块的大小为4*8的矩阵大小。
7.如权利要求1所述的图形处理器,其中,该图像块重排为矩阵列模块包括:
返回缓冲器(return buffer),用以接收并存放来自该纹素单元的该原始矩阵或至少一所述存储区块中对应于该原始坐标的数据;
数据扩展器,用以将该原始矩阵以im2col的方式进行扩展,而得到该扩展矩阵;
数据多工器(data MUX),依据该执行单元从该扩展矩阵中挑选在该卷积运算中所需的数据;
输出合并缓冲器(output merge buffer),用以将该数据多工器从该扩展矩阵中挑选的数据进行合并,并且输出至寄存器文件。
8.如权利要求1所述的图形处理器,其中,该卷积核的大小为3*3的矩阵大小,该步伐值等于1,及该填充值等于0。
9.一种加速卷积运算的方法,包括:
从存储器中得到原始矩阵;其中,该存储器包括彼此相邻且大小相同的多个存储区块,该原始矩阵存储在至少一所述存储区块中;
执行图像块重排为矩阵列算法,依据卷积核(kernal)的大小,将该原始矩阵进行扩展,而得到扩展矩阵;其中,该扩展矩阵内的每一元素分别具有扩展坐标;
将该扩展矩阵与该卷积核相乘,而到对应于该原始矩阵的特征(feature map)矩阵;
依据该扩展坐标,计算出该特征矩阵的每一元素的特征坐标;
依据该特征坐标、该卷积核的大小、步伐值及填充值,得到该原始矩阵的每一元素的原始坐标;
读取该原始矩阵的每一元素的该原始坐标所涵盖的至少一所述存储区块,并且将至少一所述存储区块中对应于该原始坐标的数据输出。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海兆芯集成电路有限公司,未经上海兆芯集成电路有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011048270.1/1.html,转载请声明来源钻瓜专利网。