[发明专利]计算机实施的用于训练神经网络的方法和电子系统

说明书

提供了一种计算机实施的用于训练神经网络的方法和电子系统。所述方法包括：在生成器处接收随机图像，在生成器处产生接收的随机图像的合成图像，在教师网络处接收合成图像，在学生网络处接收合成图像，通过以合成图像作为输入执行教师网络和学生网络并且调整学生网络的参数，使教师网络的输出与学生网络的输出之间的距离的最大值最小化，以训练学生网络，以及约束生成器。

本申请基于并要求于2020年3月23日提交并且分配的序列号为62/993,258的美国临时专利申请的优先权，该美国临时专利申请的全部内容通过引用包含于此。

技术领域

本公开总体上涉及计算机实施的用于训练神经网络的方法和电子系统。

背景技术

深度学习现在在各种计算机视觉任务中引领许多性能突破。深度学习的最先进的性能来自于过参数化的深度神经网络，过参数化的深度神经网络使得能够在对非常大的数据集训练时自动提取数据的有用表示(特征)以用于目标任务。具有随机梯度下降的深度神经网络的优化框架最近使用专用于矩阵/张量计算的硬件单元(诸如，图形处理单元(GPU))利用反向传播技术已变得非常快速和高效。过参数化的益处在经验上被示出为深度学习的巨大成功的关键因素，但是一旦找到训练良好的高准确度模型，其在各种推断平台上的部署就面临不同的要求和挑战。具体地，为了在资源受限平台(诸如，移动装置或边缘装置(edge device))上部署预训练的模型，计算成本和存储器需求是为了高效推断而需要仔细考虑的关键因素。因此，模型压缩(也称为网络压缩)是用于开发高效推断模型的重要过程。

发明内容

根据一个实施例，一种计算机实施的用于训练神经网络的方法包括：在生成器处接收随机图像；在生成器处产生接收的随机图像的合成图像；在教师网络处接收合成图像；在学生网络处接收合成图像；通过以合成图像作为输入执行教师网络和学生网络并且调整学生网络的参数，使教师网络的输出与学生网络的输出之间的距离的最大值最小化，以训练学生网络；以及约束生成器。

约束生成器的步骤包括：通过调整生成器的参数，使辅助损失项最小化。

辅助损失项包括来自教师网络的至少一个批归一化层的匹配统计和实例分类熵中的至少一个，或者来自教师网络的至少一个批归一化层的匹配统计和实例分类熵中的至少一个以及批量分类熵。

教师网络的输出与学生网络的输出之间的距离是教师网络的最后层的输出与学生网络的最后层的输出之间的距离和/或教师网络的中间层的输出与学生网络的中间层的输出之间的距离。

根据一个实施例，一种电子系统包括：存储器；以及处理器，被配置为：在生成器处接收随机图像，在生成器处产生接收的随机图像的合成图像，在教师网络处接收合成图像，在学生网络处接收合成图像，通过以合成图像作为输入执行教师网络和学生网络并且调整学生网络的参数，使教师网络的输出与学生网络的输出之间的距离的最大值最小化，以训练学生网络，以及约束生成器。

处理器被配置为通过调整生成器的参数，使辅助损失项最小化来约束生成器。

根据一个实施例，一种方法包括：在生成器处接收随机输入，在生成器处产生接收的随机输入的合成输出，在教师网络处接收合成输出，在学生网络处接收合成输出，使教师网络的输出与学生网络的输出之间的距离的最大值最小化，以及约束生成器。

约束生成器的步骤基于辅助损失项来执行。

当元数据被提供时，辅助损失项包括到元数据的距离。

元数据是描述在教师网络中利用原始训练数据获得的特征图的高斯混合参数。

辅助损失项包括来自教师网络的所述至少一个批归一化层的匹配统计。

约束生成器的步骤包括：匹配所述至少一个批归一化层的平均值和方差。

匹配所述至少一个批归一化层的平均值和方差的步骤利用两个高斯分布的KL散度来执行。