[发明专利]一种基于存内计算的稀疏矩阵稠密乘法加速器在审
申请号: | 202211658543.3 | 申请日: | 2022-12-22 |
公开(公告)号: | CN115964015A | 公开(公告)日: | 2023-04-14 |
发明(设计)人: | 张啸宇;陈晓明;韩银和 | 申请(专利权)人: | 中国科学院计算技术研究所 |
主分类号: | G06F7/523 | 分类号: | G06F7/523;G06F7/487;G06F17/16 |
代理公司: | 北京泛华伟业知识产权代理有限公司 11280 | 代理人: | 王勇 |
地址: | 100190 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 计算 稀疏 矩阵 稠密 乘法 加速器 | ||
1.一种基于存内计算的稀疏矩阵稠密乘法加速器,其特征在于,所述加速器包括:
控制器,用于根据当前的计算任务,确定其中稀疏矩阵的所有非零数值、稠密向量的所有非零数值、稀疏矩阵和稠密向量的每个非零数值对应的行索引值和列索引值,且非零数值为浮点数值;
CAM阵列,用于存储稀疏矩阵的每个非零数值对应的行索引值和列索引值,根据稠密向量的每个非零数值的行索引值匹配需与之进行计算的稀疏矩阵的每个非零数值的列索引值和行索引值,得到匹配结果;
MAC阵列,用于根据CAM阵列的匹配结果关联存储稀疏矩阵的每个非零数值和稠密向量的每个非零数值,并执行关联存储的稀疏矩阵的每个非零数值与稠密向量对应的非零数值间的浮点乘法计算,得到计算结果。
2.根据权利要求1所述的加速器,其特征在于,所述匹配结果包括与稠密向量对应行的非零数值进行计算的稀疏矩阵对应列的所有非零数值的第一匹配结果,MAC阵列按以下方式执行浮点乘法计算:
根据CAM阵列的第一匹配结果在MAC阵列的每行中关联存储稀疏矩阵的一个非零数值和与该数值进行计算的稠密向量对应的一个非零数值;
按预设规则将MAC阵列的每行中关联存储的稀疏矩阵的非零数值与稠密向量对应的非零数值进行浮点乘法计算,得到MAC阵列的每行的计算结果。
3.根据权利要求2所述的加速器,其特征在于,所述稀疏矩阵和稠密向量的每个非零数值包括指数和尾数,所述MAC阵列的每行中包括多个FeFET晶体管,每个FeFET晶体管存储稀疏矩阵的非零数值的尾数的一位二进制数值,其中,按以下方式得到每行的计算结果:
将每行中关联存储的稀疏矩阵的非零数值的指数与稠密向量对应的非零数值的指数相加,得到总指数值;
将对应行关联存储的稠密向量的非零数值的尾数的每位二进制数值按位将对应位的二进制数值输入到该行的每个FeFET晶体管中,每个FeFET晶体管执行输入二进制数值与其存储的二进制数值间的乘法计算,以得到该行的尾数计算结果;
根据每行的总指数值和尾数计算结果得到每行的计算结果。
4.根据权利要求3所述的加速器,其特征在于,所述每个FeFET晶体管按以下方式执行输入二进制数值与其存储的二进制数值间的乘法计算:
每个FeFET晶体管根据输入为零的二进制数值与其存储的二进制数值间的乘法计算得到尾数计算结果的相应位为零,根据输入为一的二进制数值与其存储的二进制数值间的乘法计算得到尾数计算结果的相应位为其存储的二进制数值。
5.根据权利要求3所述的加速器,其特征在于,所述MAC阵列包括由多个寄存器构成的寄存器堆和第一交叉开关矩阵,第一交叉开关矩阵的每行对应一个寄存器,通过第一交叉开关矩阵的每行和其对应的寄存器关联存储稀疏矩阵的非零数值和与该数值进行计算的稠密向量对应的非零数值,其中,按照以下方式进行关联存储:
通过第一交叉开关矩阵在所述矩阵的每行中存储稀疏矩阵的非零数值的尾数,其中,MAC阵列每行中的多个FeFET晶体管设置在第一交叉开关矩阵的每行中用于存储尾数的相应位的二进制数值;
通过寄存器堆在稀疏矩阵的非零数值的尾数所在的行对应的寄存器中存储该稀疏矩阵的非零数值的指数、与该稀疏矩阵的非零数值进行计算的稠密向量的非零数值的指数和尾数。
6.根据权利要求5所述的加速器,其特征在于,所述MAC阵列按以下方式得到最终计算结果:
按确定搜索的行索引值从小到大的顺序依次匹配CAM阵列中存储的与之相等的行索引值,得到与稀疏矩阵对应行的所有非零数值进行计算的稠密向量对应的非零数值的第二匹配结果;
根据第二匹配结果将稀疏矩阵的对应行中所有非零数值与对应非零数值关联存储的稠密向量的非零数值进行乘法计算,得到稀疏矩阵的对应行对应的乘法结果;
根据稀疏矩阵的对应行中所有非零数值的指数和与对应非零数值进行浮点乘法计算的稠密向量的非零数值的指数,对稀疏矩阵的对应行中对应的乘法结果进行浮点乘加,得到稀疏矩阵的对应行的乘加结果;
根据稀疏矩阵的所有行对应的乘加结果得到最终计算结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院计算技术研究所,未经中国科学院计算技术研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202211658543.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种多功能运输平台
- 下一篇:一种玻璃基板制造搅拌系统的设计方法及系统