[发明专利]一种基于硬件平台的softmax函数计算方法

摘要

本发明公开了一种基于各种硬件平台(CPLD、FPGA、专用芯片等)的softmax函数计算方法。softmax函数广泛应用于深度学习的多分类任务及注意力模型等，其中涉及到的e指数及除法计算需要消耗较大的硬件资源。设计方法通过对函数进行简单变换，将其中的e指数计算简化为一次常数乘法、一个输入范围固定的2的指数次运算、一次移位运算；将n次除法运算的简化为一次“最高位1检测运算”，一次输入范围固定的倒数运算,一次移位运算及n次乘法运算。其中2指数及倒数运算以特殊设计的查找表实现，使得更小的存储空间可实现同样精度。将本发明用在深度学习注意力模型等中，可以在精度几乎不受损的前提下大大提高计算速度，减少计算资源的消耗。

主权项

1.一种基于硬件平台的softmax函数计算方法，包括：●e指数计算模块，用于计算输入向量x各个分量xi对应的结果；●累加器模块，用于将x各个分量对应计算得到的结果进行累加；●存储模块，用于将x各个分量对应计算得到的结果分别进行存储；●倒数运算模块，用于计算累加结果的倒数；●乘法模块，用于将所存储的各个结果与计算所得的倒数进行相乘。