[发明专利]乘法器单元及计算浮点值的点积的方法和装置

说明书

公开了一种乘法器单元及计算浮点值的点积的方法和装置。所述装置包括乘法器单元阵列，每个乘法器单元包括：整数逻辑，将两个向量的对应元素的整数值相乘；指数逻辑，将两个向量的对应元素的指数值相加以形成未偏置指数值，以及本地移位器，基于与整数乘积值对应的未偏置指数值和乘法器单元阵列的最大未偏置指数值之间的差值，通过在预定方向上将整数乘积值移位一定数量的位来形成第一移位值。加法器树将从乘法器单元阵列的本地移位器输出的移位值相加以形成输出，并且累加器对加法单元的输出进行累加。

本申请要求于2020年4月10日提交的第63/008,544号美国临时申请和于2021年1月20日提交的第17/153,871号美国申请的优先权权益，所述申请的公开通过引用全部包含于此。

技术领域

在此公开的主题涉及计算单元。更具体地讲，在此公开的主题涉及用于计算浮点点积的计算单元架构和方法。

背景技术

激活值和权重值的点积是深度神经网络(DNN)加速器通常计算的运算。激活值和权重值可由16位半精度浮点(FP16)值表示。FP16值可由符号、指数和小数位表示。作为示例，图1A描绘包括1个符号位、5个指数位(偏置＝15)和10个尾数位(具有1个隐藏位)的半精度FP16表示。图1B示出阐述不同类型的FP数的示例表示的表。图1B中的表示是针对不等于0或无穷大(1…1)的指数，以及针对FP16的偏置15(127)。首字母缩略词NAN表示非数值。

发明内容

示例实施例提供一种用于计算第一向量和第二向量的点积的装置，其中，所述装置可包括乘法器单元阵列、最大树单元、加法器树和累加器。第一向量可以是激活值，第二向量可以是权重值。乘法器单元阵列的乘法器单元可包括整数逻辑、指数逻辑和本地移位器。整数逻辑可将第一向量和第二向量的对应元素的整数值相乘以形成乘积整数值，其中，第一向量和第二向量可包括浮点值。指数逻辑可将与两个向量的对应元素的整数值对应的指数值相加，以形成与乘积整数值对应的未偏置指数值。本地移位器可基于与乘积整数值对应的未偏置指数值和乘法器单元阵列的最大未偏置指数值之间的差值小于或等于本地移位器的预定最大位移位能力，通过将乘积整数值在预定方向上移位一定数量的位来形成第一移位值。最大树单元可确定乘法器单元阵列的最大未偏置指数值。加法器树可将从乘法器单元阵列的本地移位器输出的第一移位值相加以形成第一输出，累加器可对加法器树的第一输出进行累加。在一个实施例中，所述装置还可包括掩码生成器，掩码生成器生成第一掩码，第一掩码基于与乘积整数值对应的未偏置指数值和最大未偏置指数值之间的差值小于或等于与第一移位值对应的本地移位器的预定最大位移位能力将第一移位值结合到加法器树，其中，加法器树可将从乘法器单元阵列的本地移位器输出并结合到加法器树的第一移位值与第一掩码相加以形成第一输出。掩码生成器可在第一周期期间生成第一掩码。在另一实施例中，掩码生成器可基于与乘积整数值对应的未偏置指数值和最大未偏置指数值之间的差值大于与第一移位值对应的本地移位器的预定最大移位能力，来生成将第一移位值结合到加法器树的第二掩码，其中，加法器树可将从乘法器单元阵列的本地移位器输出并结合到加法器树的第一移位值与第二掩码相加以形成第二输出。所述装置还可包括：辅助移位器，结合到加法器树且可通过将来自加法器树的第二输出移位本地移位器的预定最大位移位能力来形成第二移位值，累加器还可对加法器树的第二输出进行累加。掩码生成器可在第二周期期间生成第二掩码。在一个实施例中，激活值和权重值可包括16位浮点(FP16)值。在另一实施例中，激活值和权重值可以是32位浮点(FP32)值。