[发明专利]使用非对称双曲正切激活函数改进预测性能

说明书

根据本公开的至少一个方面提供了一种非对称双曲正切函数，该函数不管神经网络的结构如何都可以用作激活函数。所提供的激活函数将其输出范围限制在预测的变量的最大值与最小值之间。所提供的激活函数适用于回归问题，该回归问题需要基于输入数据预测多种多样的实数值。代表性附图：图3。代表性附图：图3。

技术领域

在一些实施方式中，本公开涉及人工神经网络。

背景技术

这一部分中的声明仅仅提供与本公开有关的背景信息，并且不一定构成现有技术。

人工神经网络具有主要的应用领域，应用领域中的一个是预测连续目标变量(诸如，电力使用预测和天气预测)的回归分析。

根据输入到神经网络的数据的特性，回归分析中的预测值可以在[0，1]或[-1，1]的范围内，或者它们可以是包含负数的实数，而没有特定的限制。

在神经网络的组件当中，激活函数是对输入数据执行线性或非线性变换的组件。根据预测值的范围选择适当的激活函数以应用于神经网络的末端，并利用具有与预测值相同的输出范围的激活函数来产生减小的预测误差。例如，在输入值可能发生任何变化的情况下，S型函数会将输出值抑制或压缩为[0，1]，而双曲正切函数将其限制为[-1，1]。因此，使用预测值在[0，1]范围内的S型函数(如图1中的(a)所示)、预测值在[-1，1]范围内的双曲正切函数(如图1中的(b)所示)和用于预测实数且对其范围没有限制的线性函数(如在图1中(c)所示)作为末端激活函数是典型的实践。然而，与S型函数或双曲正切函数不同，由于函数值的无限制范围，当将线性函数用作输出层的神经元的激活函数时，线性函数可能会产生增加的预测误差。

当预测范围超出要使用的激活函数的输出范围时，可以考虑进行数据预处理(诸如，归一化)来缩放输入数据的范围以减小预测范围，从而将预测值的范围限制为[0，1]或[-1，1]。然而，缩放可能会导致数据方差严重失真，从而常常难以将预测值的范围限制为[0，1]或[-1，1]，导致预测值的范围经常变为具有大体上实数值的范围。

因此，需要进行回归分析以面对根据输入数据预测多种多样的实数值的频繁情况。

发明内容

技术问题

在至少一个实施方式中，本公开试图引入一种新的激活函数，该新的激活函数与具有如此宽的预测范围的数据的现有激活函数相比能够减小预测误差。

技术方案

本公开的至少一个方面提供了一种由计算机实现的方法，该方法用于通过使用神经网络来处理表示实际现象的数据，该神经网络被配置为对实际数据模式进行建模，所述方法包括：在神经网络的输出层的各个节点处，计算输入值的加权和，在神经网络的输出层的各个节点处的输入值是来自神经网络的至少一个隐藏层中的最后一个隐藏层的节点的输出值，并且在神经网络的输出层的各个节点处；将非线性激活函数应用于输入值的加权和以生成输出值，其中，非线性激活函数的输出范围的上限和下限分别通过输入到神经网络的输入层的相关节点的数据的最大值和最小值来界定。

本公开的另一方面提供了一种用于通过使用神经网络来处理表示实际现象的数据的装置，该神经网络被配置为对实际数据模式进行建模，该装置包括至少一个处理器和至少一个记录有指令的存储器。当在处理器中执行所述指令时，使得处理器执行如上所述的方法。