[发明专利]用于电子装置的激活函数功能块

说明书

一种电子装置具有实现激活函数的激活函数功能块。在操作期间，所述激活函数功能块接收到输入，所述输入包括表示数值的多个位。所述激活函数功能块随后从多个范围确定所述输入落入的范围，每个范围包括所述输入的可能数值的单独部分。所述激活函数功能块接下来生成与所述范围相关联的线性函数的结果。生成所述结果包括使用与所述多个范围中的每个范围相关联的单独线性函数以近似在所述范围内的所述激活函数的结果。

背景技术

相关技术

一些电子装置使用神经网络(或“人工神经网络”)来执行对应的计算操作。通常，神经网络是一种系统，其包括与生物神经网络(诸如在活生物的大脑中的那些)具有相似性的内部基元，其可以“学习”或进行训练以执行操作。通过使用已知信息来训练和设置神经网络的内部基元来训练神经网络以执行操作，使得神经网络随后可以对未知信息执行操作。例如，可以通过使用已知包括人脸图像的数字图像来训练神经网络的内部结构以当随后分析未知数字图像时适当地做出反应—即，识别包括人脸图像的数字图像来训练神经网络以辨认数字图像是否包括人脸图像。

神经网络包括一组人工神经元或“节点”，其以类似于活生物的大脑中神经元经由突触互连的方式的布置彼此互连。神经网络可以可视化为有向且加权图结构的形式，其具有输入节点、中间节点和输出节点，除输出节点外，每个节点经由具有关联权重的有向边与一个或多个其他节点(或“下游”节点)连接。如这里所使用的，“有向边”是至少两个节点之间的逻辑或实际互连，在其上，信息在指定的方向上(例如，从上游节点到下游节点)传播。输入节点从神经网络外部的源接收输入，并且处理接收到的输入以产生输入值(例如，数值)。随后将输入值从输入节点转发到下游中间节点，可能会根据对应有向边的权重沿着路线进行加权(即，诸如通过乘以权重值、与权重值相加等来进行调整)。在每个中间节点内，对接收到的值求和，然后使用与中间节点相关联的激活函数进行处理，以产生用于中间节点的结果值。随后将结果值从中间节点转发到下游中间节点或输出节点，可能会根据对应有向边的权重沿着路线进行加权。神经网络通常包括多个层(可能很多层)的中间节点，每一层的中间节点接收输入值并且将生成的结果转发到另一层中的中间节点或转发到输出节点。当可能加权的结果值最终从最后一层的中间节点转发到输出节点时，输出节点处理结果值以生成用于神经网络的输出。继续上面的图像处理示例，来自输出节点的输出采用指示对象数字图像是否包括人脸图像的形式。

如上所述，权重被应用于沿着神经网络中的节点之间的对应边转发的值，并且中间节点使用相应的激活函数来处理求和的接收值。通过调整/设置与边相关联的权重使得由神经网络生成期望的输出，可以训练神经网络以产生预期的结果，诸如正确识别数字图像中的人脸。

相比其他技术，电子装置可能够使用神经网络更容易地执行某些操作。然而，神经网络可能是计算密集型的且很慢才能产生结果，特别是当神经网络中的层数增加时。例如，使用现有的软件技术来执行激活函数可能需要执行多个子操作。当必须为对应数量的中间节点执行数十个或数百个激活函数时，子操作的数量可能非常大并且可能需要大量时间来进行处理。

附图说明

图1呈现了示出根据一些实施方案的电子装置的框图。

图2呈现了根据一些实施方案的修正线性单元(ReLU)激活函数的结果和ReLU激活函数的近似的硬件电路实现方式的图。

图3呈现了根据一些实施方案的泄露ReLU激活函数的结果和泄露ReLU激活函数的近似的硬件电路实现方式的图。

图4呈现了根据一些实施方案的指数线性单元(ELU)激活函数的结果、ELU激活函数的近似和ELU激活函数的近似的硬件电路实现方式的图。

图5呈现了根据一些实施方案的ELU激活函数的结果、ELU激活函数的近似和ELU激活函数的近似的硬件电路实现方式的图。

图6呈现了示出根据一些实施方案的用于生成激活函数的结果的过程的流程图。

在整个附图和描述中，相同附图标记指代相同的附图元件。