[发明专利]Mish激活函数的近似计算方法

说明书

本发明提供了Mish激活函数的近似计算方法，该Mish激活函数的近似计算方法采用分段逼近的方式构建形成一形式较为简单的hard‑mish分段函数，该hard‑mish分段函数的计算复杂度远低于该Mish激活函数，这样能够有效地减少函数运算的耗费时间，此外该hard‑mish分段函数还能够有效地减少运算过程中对系统内存的访问次数和内存占用率，并且该hard‑mish分段函数与该Mish激活函数在计算结果上存在较小的误差，从而有效地改善Mish激活函数的应用普适性。

技术领域

本发明涉及计算机数据处理的技术领域，特别涉及Mish激活函数的近似计算方法。

背景技术

Mish激活函数是一种新研究的激活函数，其具体数学形式为Mish(x)＝x·tanh(ln(1+e^x)，与以往的sigmoid和swish激活函数相比，该Mish激活函数在多个计算机视觉任务的检测识别方面具备更加优越的计算性能，但是由于Mish激活函数的计算公式复杂，这使得该Mish激活函数在运行过程中会占用较多的系统内存和耗费较长的运算时间，从而严重地制约该Mish激活函数的应用普适性。可见，现有技术继续一种能够逼近于Mish激活函数并且与Mish激活函数之间存在较小计算误差的函数近似计算方法。

发明内容

针对现有技术存在的缺陷，本发明提供Mish激活函数的近似计算方法，该Mish激活函数的近似计算方法包括如下步骤：步骤S1，构建一卷积神经网络；步骤S2，根据关于Mish激活函数的分段逼近原则，构建另一hard-mish函数，以此作为新的激活函数；步骤S3，根据该hard-mish函数，对该卷积神经网络进行训练，以此将该卷积神经网络的权重参数更新至收敛状态；步骤S4，输出权重参数处于收敛状态的该卷积神经网络；可见，该Mish激活函数的近似计算方法采用分段逼近的方式构建形成一形式较为简单的hard-mish分段函数，该hard-mish分段函数的计算复杂度远低于该Mish激活函数，这样能够有效地减少函数运算的耗费时间，此外该hard-mish分段函数还能够有效地减少运算过程中对系统内存的访问次数和内存占用率，并且该hard-mish分段函数与该Mish激活函数在计算结果上存在较小的误差，从而有效地改善Mish激活函数的应用普适性。

本发明提供Mish激活函数的近似计算方法，其特征在于，所述Mish激活函数的近似计算方法包括如下步骤：

步骤S1，构建一卷积神经网络；

步骤S2，根据关于Mish激活函数的分段逼近原则，构建另一hard-mish函数，以此作为新的激活函数；

步骤S3，根据所述hard-mish函数，对所述卷积神经网络进行训练，以此将所述卷积神经网络的权重参数更新至收敛状态；

步骤S4，输出权重参数处于收敛状态的所述卷积神经网络；

进一步，在所述步骤S1中，构建一卷积神经网络具体包括，

根据Mish激活函数的数据计算场景和/或计算数据类型，构建所述卷积神经网络模型；

进一步，在所述步骤S2中，根据关于Mish激活函数的分段逼近原则，构建另一hard-mish函数，以此作为新的激活函数具体包括，

步骤S201，对所述Mish激活函数进行区间分段，以此获得关于所述Mish激活函数在若干不同区间的函数曲线参数；

步骤S202，对每一个所述区间的函数曲线参数进行无限逼近计算处理，并以此构建如下面公式(1)所示的hard-mish函数

进一步，在所述步骤S201中，对所述Mish激活函数进行区间分段，以此获得关于所述Mish激活函数在若干不同区间的函数曲线参数具体包括，