[发明专利]用于生成网络模型信息的方法、装置、设备和介质

说明书

本公开的实施例公开了用于生成网络模型信息的方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括：对预先训练的初始超网络进行以下剪枝步骤：根据该初始超网络对应的帕累托曲线，确定该初始超网络各层的算子概率分布；基于该算子概率分布，对该初始超网络的各层的算子进行剪枝，得到子超网络；对该子超网络进行训练；响应于剪枝次数小于该预先设定的数目，将训练结束后的该子超网络作为新的初始超网络，继续执行该剪枝步骤。该实施方式通过对超网络进行剪枝，减轻了超网络中的权重耦合，对后续确定特定时延的高准确度的网络模型提供了方便。

技术领域

本公开的实施例涉及计算机技术领域，具体涉及用于生成网络模型信息的方法、装置、设备和计算机可读介质。

背景技术

目前，在神经网络搜索过程中，超网络的某些层对于某些算子很少选择，原因在于包括这些多余算子的网络违背了时延限制，或者在验证数据集的效果很差。因此，需求一种对超网络进行剪枝的方法来去除上述超网络中每层的多余算子。

发明内容

本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

本公开的一些实施例提出了用于生成网络模型信息的方法、装置、设备和计算机可读介质，来解决以上背景技术部分提到的技术问题。第一方面，本公开的一些实施例提供了一种用于生成网络模型信息的方法，该方法包括：对预先训练的初始超网络进行以下剪枝步骤：根据上述初始超网络对应的帕累托曲线，确定上述初始超网络各层的算子概率分布；基于上述算子概率分布，对上述初始超网络的各层的算子进行剪枝，得到子超网络；对上述子超网络进行训练；响应于剪枝次数小于上述预先设定的数目，将训练结束后的上述子超网络作为新的初始超网络，继续执行上述剪枝步骤。

第二方面，本公开的一些实施例提供了一种用于生成网络模型信息的装置，装置包括：剪枝单元，被配置成对预先训练的初始超网络进行以下剪枝步骤：根据上述初始超网络对应的帕累托曲线，确定上述初始超网络各层的算子概率分布；基于上述算子概率分布，对上述初始超网络的各层的算子进行剪枝，得到子超网络；对上述子超网络进行训练；执行单元，被配置成响应于剪枝次数小于上述预先设定的数目，将上述子超网络作为新的初始超网络，继续执行上述剪枝步骤。

第三方面，本公开的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一、二方面中任一的方法。

第四方面，本公开的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现如第一、二方面中任一的方法。

本公开的上述各个实施例中的一个实施例具有如下有益效果：在剪枝操作过程中，首先，通过与上述初始超网络对应的帕累托曲线，确定上述初始超网络各层的算子概率分布。这样可以依据算子概率分布得到超网络每层中哪些是多余算子，哪些是常用算子。进而对上述初始超网络的各层的算子进行剪枝，得到子超网络。在这里，得到的子超网络相对于上述初始超网络来说，每层多余算子已经被剪裁一部分。通过对子网络的训练，得到训练后的精简的网络。最后，可以通过预先设定的条件，有选择性的对初始超网络剪枝预定数目次，得到剪枝后的超网络。该实施方式通过对超网络中每层算子的剪枝，极大减轻了超网络中的权重耦合，对后续确定特定时延的高准确度的网络模型提供了方便。

附图说明

结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。

图1-图2是根据本公开的一些实施例的用生成网络模型信息的方法的一个应用场景的示意图；