[发明专利]低功率、低内存乘法和累加（MAC）单元

权利要求书

1.一种由系统实施的方法，所述方法用于执行乘法和累加运算即MAC运算，所述方法包括：

确定第一数将与第二数相乘；并且

执行所述MAC运算，以将所述第一数与所述第二数相乘，其中执行所述MAC运算包括：

确定与所述第一数相关联的量化级别的索引，其中所述索引由“m”个位来表示，其中所述量化级别由“l”个位来表示，并且其中“l”大于“m”，

通过在表的查找中至少使用所述索引来确定“r”组“k”位，其中“r*k”等于“l”并且其中“l”个位包括所述“r”组“k”位，并且

在应用到输入缓冲区的移位运算和累加运算中使用所述“r”组“k”位，所述输入缓冲区存储所述第二数的位表示。

2.根据权利要求1所述的方法，其中所述系统包括人工智能推理引擎即AI推理引擎，其中所述第一数包括AI模型的权重，其中所述第二数包括所述AI模型的变换函数的变量，并且其中所述变换函数包括将所述变量与所述权重相乘。

3.根据权利要求1所述的方法，其中使用所述“r”组“k”位包括：

将所述索引的“m”个位输入到索引缓冲区，

通过在所述表的查找中使用来自所述索引缓冲区的“m”个位，确定来自所述“r”组“k”位的第一组，其中所述第一组包括“l”个位中的“k”个位，并且其中“k”小于“l”，

将所述输入缓冲区移位所述第一组的“k”个位，并且

在累加器缓冲区中累加被移位后的输入缓冲区。

4.根据权利要求3所述的方法，其中使用所述“r”组“k”位进一步包括针对所述“r”个组中的每个剩余的组重复进行所述移位运算和所述累加运算。

5.根据权利要求1所述的方法，进一步包括：

(a)基于二次方量化即PoT量化来生成候选量化值的集合“C”；

(b)将所述候选量化值聚类在“Q”个簇中，其中所述“Q”个簇中的每一个包括所述候选量化值的子集并且由基于所述子集的统计点来表示；

(c)针对所述“Q”个簇中的第一簇，利用来自所述集合“C”的值来替换所述统计点；并且

(d)生成所述表，其中所述表包括与所述第一簇相对应的第一索引并且所述表将所述第一索引与所述值的“l”位表示相关联。

6.根据权利要求5所述的方法，其中所述PoT量化包括被表示为的PoT非均匀量化，其中并且其中β为缩放因子。

7.根据权利要求5所述的方法，其中基于量化值的目标分布来进行所述聚类。

8.根据权利要求5所述的方法，其中利用来自所述集合“C”的最接近的数来替换所述统计点。

9.根据权利要求5所述的方法，其中所述系统包括人工智能推理引擎即AI推理引擎，其中所述方法进一步包括：

通过使用表示所述“Q”个簇的“Q”个统计点来确定所述AI推理引擎的性能，其中所述“Q”个统计点中的每一个包括所述AI模型的权重，并且其中基于所述性能来生成所述表。

10.根据权利要求11所述的方法，进一步包括：

基于所述性能，改变以下中的至少一个：“r”的值、“k”的值或“Q”的值。

11.根据权利要求10所述的方法，进一步包括：

在改变所述“r”的值或所述“k”的值时，重复操作(a)至操作(c)。

12.根据权利要求10所述的方法，进一步包括：

在改变所述“Q”的值时，重复操作(b)至操作(c)。

13.根据权利要求5所述的方法，其中所述系统包括AI推理引擎，并且其中所述方法进一步包括：

通过使用来自所述表的量化级别位表示来将AI模型的权重初始化；并且

基于初始化后的权重来对所述AI模型进行重新训练。