[发明专利]用于使用二元张量和缩放因子对来增强神经网络的方法和装置

权利要求书

1.一种优化经训练的卷积神经网络(CNN)的方法，包括：

将近似残差初始化为用于所述经训练的CNN的经训练的权重张量；

确定多个二元张量和缩放因子对；以及

使用所述二元张量和缩放因子对来更新所述近似残差。

2.根据权利要求1所述的方法，还包括：

迭代地确定附加的二元张量和缩放因子对并且使用所述附加的二元张量和缩放因子对来更新所述近似残差。

3.根据权利要求1所述的方法，其中，迭代地确定附加的二元张量和缩放因子对并且使用所述附加的二元张量和缩放因子对来更新所述近似残差被重复，以找到最大网络效率。

4.根据权利要求1所述的方法，还包括：

通过确定二元张量的基数和一系列缩放因子来对所述经训练的CNN的经训练的滤波器进行近似。

5.根据权利要求4所述的方法，其中，确定所述二元张量的基数和所述一系列缩放因子包括确定多个二元近似，其中，每个近似是不同的二元张量的组合，并且每个二元张量是与缩放因子配对的。

6.根据权利要求1所述的方法，其中，确定所述多个二元张量和缩放因子对包括：

通过将第一二元张量和缩放因子选择为最优值，并且针对多个附加选择中的每一个选择使用先前选择的最优值直到所有所述经训练的滤波器被近似，来启发式地学习二元张量和缩放因子。

7.根据权利要求6所述的方法，其中，每个二元张量表示相应的近似残差的符号，并且每个缩放因子表示对应的平均幅度。

8.根据权利要求6所述的方法，其中，每个二元张量表示相应的近似残差的符号，并且每个缩放因子是使用所有二元张量的最小二乘回归来细化的。

9.根据权利要求1所述的方法，其中，所述经训练的权重张量包括浮点权重张量。

10.根据权利要求1所述的方法，其中，所述二元张量和缩放因子对包括二元结构。

11.根据权利要求10所述的方法，还包括：

直接在根据CNN模型的预训练的滤波器中使用所述二元结构，以经由张量展开产生二元权重模型。

12.根据权利要求1所述的方法，还包括：

在对所述近似残差进行初始化之前，利用特定二元基数的线性跨度对所述预训练的滤波器进行近似。

13.根据权利要求1所述的方法，还包括：

对相同的二元张量进行分组以追求最大的网络效率。

14.一种包括指令的机器可读介质，所述指令在由所述机器操作时使所述机器执行权利要求1至13所述的方法中的任何一个或多个。

15.一种装置，包括：

存储器，其用于存储输入初始结果、中间结果和最终结果；

神经网络；以及

处理器，其用于引起、优化或配置所述神经网络来执行权利要求1至13所述的方法中的任何一个或多个。

16.一种装置，包括：

存储器单元，其用于存储输入初始结果、中间结果和最终结果；以及

逻辑单元，其用于执行权利要求1至13所述的方法中的任何一个或多个。