[发明专利]模型训练方法及神经网络模型、图片分类方法及系统

说明书

本发明公开一种模型训练方法及神经网络模型，图片分类方法及系统。其模型训练方法包括步骤：S1:构建训练模型，所述训练模型包括第一神经网路和第二神经网路；S2:分别将训练信息输入至第一神经网路和第二神经网路：S3:将第一神经网路的特征注意力进行集成处理；S4:将第一神经网络的注意力机制迁移至第二神经网路；S5:分别对第一神经网络、第二神经网络进行更新。本申请可以将一个神经网络的知识传递给另一神经网络，既能够优化模型，又能提高训练的效率。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种模型训练方法及神经网络模型、图片分类方法及系统。

背景技术

深度学习是从数据中学习的一种技术，目前在业界得到广泛的应用，基于深度学习的图片分类具有较高的准确率。

深度学习之所以强大，是因为其可以从数据中能够学习到特征，从而挖掘新的规律，深度学习模型越复杂，则学习能力越强，这是深度学习的优点也是深度学习的缺点，当模型越来越复杂时候，其训练成本以及计算成本也会越来越高，反而导致其应用的准确性。

虽然说在复杂模型中，也有一些优化的办法，比如采用dropout等降低训练成本，也可以采用知识蒸馏的方法来优化模型的复杂度。但在复杂的模型中，比如在诸如包含老师网络和学生网路构成的复杂模型中，中间特征层形状不一样，传统方法无法对中间特征层进行蒸馏，从而难以起到优化的效果。

发明内容

本发明为解决现有技术中存在的技术问题，提出一种模型训练方法，包括步骤：

S1:构建训练模型，所述训练模型包括第一神经网路和第二神经网路；

S2:分别将训练信息输入至第一神经网路和第二神经网路：

S3:将第一神经网路的特征注意力进行集成处理；

S4:将第一神经网络的注意力机制迁移至第二神经网路；

S5:分别对第一神经网络、第二神经网络进行更新。

进一步地，S3:将第一神经网路的特征注意力进行集成处理包括：

所述第一神经网络包括若干个特征层，对当前特征层的通道进行压缩处理；

对当前特征层压缩后的通道进行还原处理；

将还原得到的特征映射到0-1之间，得到当前特征层的加权特征；

将当前特征层的加权特征作为下一特征层的输入；

将当前特征层进行降采样处理，并与下一特征层进行压缩处理后得到的特征进行拼接；

将拼接得到的特征进行还原处理并映射到0-1之间，得到下一特征层的加权特征。

进一步地，将还原得到的特征或者拼接得到的特征映射到0-1之间，使用的映射函数为sigmoid函数。

进一步地，S4:将第一神经网络的注意力机制迁移至第二神经网路包括：

将第一神经网络和第二神经网络设置相同的的特征层数；

将第一神经网路的各个特征层的输出通道进行压缩或者提升处理，得到与第二神经网络的对应特征层的特征通道数相同；

第一神经网路的特征层和对应第二神经网络的特征层之间均采用L2损失函数进行计算。

进一步地，S5:分别对第一神经网络、第二神经网络进行更新包括：

将第一神经网络中各个特征层的损失进行相加，进行误差反向传播，并更新参数；

将第二神经网络中各个特征层的损失进行相加，进行误差反向传播，并更新参数。