[发明专利]用于归一化神经网络设备的装置和方法

说明书

一种神经网络设备可以包括：输入单元，适用于将输入信号施加到对应的第一线；计算单元，包括交叉连接在第一线与第二线之间的存储器元件，其中存储器元件具有相应的权重值，并且产生来自多个第一线之中的对应第一线的输入信号与权重的乘积信号，以将乘积信号输出到来自第二线之中的对应第二线；漏失连接控制单元，包括连接在多个第一线与多个存储器元件之间的开关，并且适用于随机地漏失施加到来自多个存储器元件之中的对应存储器元件的输入信号的连接；输出单元，连接到多个第二线，并且适用于：当计算单元执行产生乘积信号设置的次数时，选择性地激活多个第二线的信号，以将被激活的信号施加到输入单元，并且执行针对被激活的信号的输出。

相关申请的交叉引用

本申请要求2016年12月16日在韩国知识产权局提交的申请号为10-2016-0172605的韩国专利申请的优先权，其公开的内容通过引用整体合并于此。

技术领域

本公开的示例性实施例涉及一种用于使用漏失连接(drop-connect)和/或漏失(dropout)来执行神经网络设备的归一化的装置和方法。

背景技术

在人脑中，存在为数千亿单位的神经细胞的神经元，该神经元形成复杂的神经网络。神经元通过经由突触将信号传输到成千单位的其他神经元和/或从成千单位的其他神经元接收信号来显示智能。神经元是神经系统的结构和功能单位，并且可以是信息传递的基本单位。突触可以是神经元之间的连结部分，并且可以接触另一个神经元。神经网络设备可以是使人造神经系统将这种神经网络复制到神经元水平的设备。

神经网络设备可以是用于将特定信息任意地分配给神经元并且使对应的神经元学习被分配的信息的方式。在神经网络设备中，神经元可以接触另一神经元的突触以接收信息，并且还可以将信息输出到另一个神经元作为输入信息。

神经网络设备的算法可以具有高复杂度。例如，一个神经元可以接收许多信息。神经元可以执行用各个相应的权重计算接收到的信息的操作。因此，为了改善神经网络设备的复杂度，可能需要归一化和/或正则化。

发明内容

各种实施例涉及一种能够对神经网络设备的计算进行归一化和/或正则化的装置和方法。

此外，各种实施例涉及一种能够在神经网络中将输入到忆阻器的信号归一化的装置和方法，该神经网络使用忆阻器来处理信息。

此外，各种实施例涉及一种能够在神经网络设备中漏失忆阻器的节点输出装置和方法，该神经网络设备使用忆阻器来处理信息。

此外，各种实施例涉及一种能够在神经网络设备中使用漏失连接功能和漏失功能来执行归一化装置和方法，该神经网络设备使用忆阻器来处理信息。

在一个实施例中，神经网络设备包括：输入单元，适用于将多个输入信号施加到多个对应第一线；计算单元，包括交叉连接(cross-connected)在多个第一线与多个第二线之间的多个存储器元件，其中多个存储器元件具有相应的权重值，并且产生来自多个第一线之中的对应第一线的输入信号与权重的乘积信号，以将乘积信号输出到来自多个第二线之中的对应第二线；漏失连接控制单元，包括连接在多个第一线与多个存储器元件之间的开关，并且适用于随机地漏失施加到来自多个存储器元件之中的对应存储器元件的输入信号的连接；以及输出单元，连接到多个第二线，并且适用于：当计算单元执行产生乘积信号设置的次数时，选择性地激活多个第二线的信号以将被激活的信号施加到输入单元，并且执行针对被激活的信号的输出。