[发明专利]用于深度神经网络的执行方法、执行装置、学习方法、学习装置以及记录介质

权利要求书

1.一种用于深度神经网络的执行方法，所述执行方法包括：

在深度神经网络推理期间，通过使用第一变换模块将浮点或定点中间特征映射转换为二进制向量来获得呈二进制表征的二进制中间特征映射；

通过使用非线性降维层来压缩所述二进制中间特征映射来生成压缩特征映射；

将所述压缩特征映射存储到存储器中；

通过使用与所述非线性降维层相对应的重建层对从所述存储器读取的所述压缩特征映射进行解压缩来重建所述二进制中间特征映射；以及

使用第二变换模块将重建后的二进制中间特征映射转换为浮点或定点中间特征映射。

2.根据权利要求1所述的执行方法，其中，

所述非线性降维层是单个投影卷积层或一系列投影卷积层，并且

所述重建层是单个重建卷积层或一系列重建卷积层。

3.一种使用根据权利要求1或2所述的执行方法执行的用于深度神经网络的基于反向传播的学习方法，所述学习方法包括：

将所述第一变换模块和所述第二变换模块的解析导数应用至用于包括在所述深度神经网络中各层中的下一层的梯度，以生成用于包括在所述深度神经网络中各层中的上一层的梯度；

基于为所述上一层生成的所述梯度更新权重和偏差；以及

基于恒等映射函数初始化用于所述非线性降维层的权重以及用于所述重建层的权重。

4.一种用于深度神经网络的执行装置，所述执行装置包括：

执行深度神经网络推理的处理器，

其中，所述处理器：

通过使用第一变换模块将浮点或定点中间特征映射转换为二进制向量来获得呈二进制表征的二进制中间特征映射；

通过使用非线性降维层压缩所述二进制中间特征映射来生成压缩特征映射；

将所述压缩特征映射存储到存储器中；

通过使用与所述非线性降维层相对应的重建层对从所述存储器读取的所述压缩特征映射进行解压缩来重建所述二进制中间特征映射；以及

使用第二变换模块将重建后的二进制中间特征映射转换为浮点或定点中间特征映射。

5.一种用于深度神经网络的学习装置，该学习装置包括：

处理器，其通过使用根据权利要求1或2所述的执行方法所执行的深度神经网络来执行基于反向传播的学习，

其中，所述处理器：

将所述第一变换模块和所述第二变换模块的解析导数应用至用于包括在所述深度神经网络中各层中的下一层的梯度，以生成用于包括在所述深度神经网络中各层中的上一层的梯度；

基于为所述上一层生成的所述梯度更新权重和偏差；以及

基于恒等映射函数初始化用于所述非线性降维层的权重以及用于所述重建层的权重。

6.一种程序，用于使计算机执行根据权利要求1所述的执行方法。

7.一种程序，用于使计算机执行根据权利要求3所述的学习方法。