[发明专利]操作神经网络的方法、设备及系统

说明书

一种操作神经网络的方法，神经网络诸如卷积神经网络，神经网络包括例如输入层、输出层、以及输入层与输出层之间的至少一个中间层，网络层包括对输入数据执行算术运算以提供输出数据的运算电路。该方法包括：在网络层中选择运算电路集合，以及通过在余数系统RNS中获得RNS输出数据，对RNS转换的输入数据执行余数系统或RNS运算来在所选择的运算电路集合中的运算电路中执行算术运算，从余数系统后向转换从RNS运算得到的RNS输出数据。

技术领域

本描述涉及神经网络。

一个或多个实施例可以涉及神经网络的改进的运算，神经网络诸如卷积神经网络。

背景技术

神经网络(NN)是一种计算架构，其尝试通过使用模拟人类大脑运作方式的过程来标识数据集合中的潜在关系。神经网络具有适应变化的输入以使得网络可以产生最佳可能的结果而不重新设计输出准则的能力。

神经网络被广泛用于例如提取模式并且检测太复杂以至于人类或其他计算机技术无法注意到的趋势。

使用神经网络(NN)的一些优点包括，比如：

-自适应学习：NN可以基于为培训或初步经验而被提供的数据来学习如何执行任务的能力；

-自组织：NN可以创建其自身对于例如在学习期间获得的信息的组织或表示；

-实时运算：NN处理，例如计算可以并行地执行，其中硬件设备被设计和制造以便于利用这种能力；

-容错，例如经由冗余信息编码：虽然网络的部分破坏可能导致性能的对应劣化，但即使在主要网络损坏的情况下也可能保留某些网络能力；

-噪声容限：NN对在测试数据传播期间生成的噪声内在地鲁棒。

发明内容

在一个实施例中，一种操作神经网络的方法，包括多个网络层，其包括对输入数据执行算术运算以提供输出数据的运算单元，包括：在网络层中选择运算单元集合，以及通过在余数系统(Residue Number System)RNS中获得RNS输出数据，在余数系统RNS中对 RNS转换的输入数据执行运算来在所选择的运算单元集合中的运算单元中执行算术运算，从余数系统对由RNS运算得到的RNS输出数据进行后向转换。在一个实施例中，所选择的运算单元的集合包括运算单元，该运算单元执行从包括点乘和矩阵乘法的乘法、加法、以及减法中选择出的运算。在一个实施例中，所选择的运算单元的集合包括运算单元，该运算单元执行相对于输入数据的第一集合和输入数据的第二集合齐次的运算，该方法包括通过以下方式来提供经RNS转换的输入数据：将输入数据的第一集合和输入数据的第二集合两者前向转换到余数系统。在一个实施例中，所选择的运算单元的集合包括运算单元，该运算单元执行相对于输入数据的第一集合和输入数据的第二集合齐次的运算，该方法包括通过以下各项来提供经RNS转换的输入数据：通过将输入数据的第一集合前向转换到余数系统来提供输入数据的第一集合，以及提供输入数据的第二集合作为经RNS转换的输入数据的存储集合。在一个实施例中，经 RNS转换的输入数据包括由相应缩放因子缩放的数据，其中从余数系统的后向转换包括通过相应的互补缩放因子将从RNS运算得到的 RNS输出数据进行补充重新缩放。在一个实施例中，经RNS转换的输入数据包括整数到RNS转换的数据，其中从余数系统的反向转换包括将来自RNS运算的RNS输出数据进行RNS到整数的转换。在一个实施例中，经RNS转换的输入数据包括由相应缩放因子缩放并且被四舍五入要经整数到RNS转换的数据，并且从余数系统的后向转换包括RNS到整数的转换以及来自RNS运算的RNS输出数据的相应互补缩放因子的相应的互补重新缩放。在一个实施例中，该方法包括以下至少一项：在余数系统RNS中的多个算术运算中使用用于经RNS转换的输入数据的相同缩放因子集合，和/或至少将经RNS 转换的输入数据的至少一部分的缩放因子设为单位一，和/或经RNS 转换的输入数据的缩放因子包括幂二缩放因子，其中缩放包括二进制数据的移位。在一个实施例中，该方法包括在余数系统RNS中利用幂二模数中来执行算术运算。在一个实施例中，包括多个网络层的神经网络包括对输入数据执行算术运算以提供输出数据的运算单元，网络层包括被配置为利用本文公开的方法的实施例对经RNS转换的输入数据执行RNS运算来执行余数系统RNS中的运算的单元。在一个实施例中，一种装置包括：提供用于由神经网络处理的数据的源设备和神经网络，网络耦合到源设备并且被配置为从源设备接收数据，提供数据的神经网络处理并输出由神经网络中数据的神经网络处理得到的输出数据。