[发明专利]网络训练方法及装置、图像处理方法及装置

说明书

本公开涉及一种网络训练方法及装置、图像处理方法及装置。所述网络训练方法包括：将训练集中的样本图像以及所述样本图像的变换图像分别输入第一网络中处理，得到所述样本图像的第一处理结果以及所述变换图像的第二处理结果，所述变换图像是对所述样本图像进行几何变换得到的；将所述样本图像的变换图像输入预训练的第二网络中处理，得到所述变换图像的第三处理结果；根据多个样本图像的标注结果及第一处理结果，所述多个样本图像的变换图像的第二处理结果及第三处理结果，训练所述第一网络。本公开实施例可提高训练后的学生网络的性能。

技术领域

本公开涉及计算机技术领域，尤其涉及一种网络训练方法及装置、图像处理方法及装置。

背景技术

在计算机视觉任务中，网络模型的性能与其规模高度相关，大模型虽然可以实现良好性能，但过大的参数量和过长的推理时间限制了其在计算资源不足的移动端的部署，如何用小模型实现大模型的效果是模型压缩主要解决的问题。模型压缩的方法包括模型剪枝、模型量化和知识蒸馏等，其中知识蒸馏凭借简单的设计和良好的效果，成为模型压缩的常见方法。知识蒸馏是指首先训练一个教师模型，该模型规模较大，性能良好，然后训练一个小规模的学生模型，让学生模型模仿教师模型，从而提高学生模型的性能。

发明内容

本公开提出了一种网络训练及图像处理技术方案。

根据本公开的一方面，提供了一种网络训练方法，包括：将训练集中的样本图像以及所述样本图像的变换图像分别输入第一网络中处理，得到所述样本图像的第一处理结果以及所述变换图像的第二处理结果，所述变换图像是对所述样本图像进行几何变换得到的；将所述样本图像的变换图像输入预训练的第二网络中处理，得到所述变换图像的第三处理结果；根据多个样本图像的标注结果及第一处理结果，所述多个样本图像的变换图像的第二处理结果及第三处理结果，训练所述第一网络。

在一种可能的实现方式中，根据多个样本图像的标注结果及第一处理结果，所述多个样本图像的变换图像的第二处理结果及第三处理结果，训练所述第一网络，包括：根据多个样本图像的标注结果及第一处理结果，确定所述第一网络的第一损失；根据所述多个样本图像的变换图像的第二处理结果及第三处理结果，确定所述第一网络的第二损失；根据所述第一损失及所述第二损失，训练所述第一网络。

在一种可能的实现方式中，所述方法还包括：将所述样本图像输入预训练的第二网络中处理，得到所述样本图像的第四处理结果；

所述根据多个样本图像的标注结果及第一处理结果，所述多个样本图像的变换图像的第二处理结果及第三处理结果，训练所述第一网络，还包括：根据所述多个样本图像的第一处理结果及第四处理结果，确定所述第一网络的第三损失；根据所述第一损失、所述第二损失及所述第三损失，训练所述第一网络。

在一种可能的实现方式中，根据所述第一损失、所述第二损失及所述第三损失，训练所述第一网络，包括：根据所述第一损失、所述第二损失及所述第三损失的加权和，确定所述第一网络的网络损失；根据所述第一网络的网络损失，调整所述第一网络的网络参数。

在一种可能的实现方式中，所述第二处理结果包括变换图像的第一预测概率分布，所述第三处理结果包括所述变换图像的第二预测概率分布，

所述根据所述多个样本图像的变换图像的第二处理结果及第三处理结果，确定所述第一网络的第二损失，包括：根据所述第一预测概率分布与所述第二预测概率分布之间的距离，确定所述第一网络的第二损失。

在一种可能的实现方式中，所述方法还包括：对所述样本图像进行几何变换，得到所述样本图像的至少一个变换图像，其中，几何变换的类别包括旋转、扭曲、拉伸及压缩中的至少一种。

根据本公开的一方面，提供了一种图像处理方法，包括：将待处理图像输入第一网络中处理，得到所述待处理图像的图像分类结果，所述第一网络是根据上述的网络训练方法训练得到的。