[发明专利]基于MBN-Transformer模型的不平衡牛身数据的双边识别方法

说明书

本发明公开了一种基于MBN‑Transformer模型的不平衡牛身数据的双边识别方法。本发明通过增加平衡采样器增大牛只少类别的采样率，通过动态融合混合增强模块减少因平衡采样器可能带来的过拟合问题，同时采用选择Vision Transformer作为共享主干网络结构，增强牛身图像全局信息的关联；采用Transformer编码器设计平衡分支和常规分支模块，分别处理牛舍随机采样器的图像混合增强数据和挤奶通道平衡采样器的图像混合增强数据，并将两个分支的输出特征通过特征动态平衡因子融合，利用Transformer编码器的多头自注意力机制挖掘动态融合混合增强模块牛身数据的关联性以及全局信息。本发明解决了挤奶通道中牛只姿态单一图像识别率性能较差问题，同时对于牛只的关键特征具有更好的聚焦能力。

技术领域

本发明涉及生物识别领域，提供一种基于MBN-Transformer模型的不平衡牛身数据的双边识别方法。具体是一种基于深度学习在牛身数据不平衡应用场景下的生物识别技术。

背景技术

随着我们国家的生产水平的提高，个体作坊养殖方式逐渐消失，替代的是规模化、精细化养殖方式，快速、高效的牛只个体识别技术成为提高养殖规模的关键因素，传统的管理方式采用耳标、打标签、无线射频检测技术(Radio frequency identification,RFID)等方式，然而耳标和打标签容易被伪造，且可能会给牛只带来伤害。随着深度学习在生物识别技术的应用和发展，这种非接触识别方式不易对牛只造成身体伤害，并且能够在实际场景中可以快速使用。深度学习技术不需要任何人工制作的特征，可以直接从数据中学习特征信息，提取对姿势或背景变化以及光照变化更稳健的特征。大多数方法都是基于卷积神经网络进行牛身识别，卷积神经网络更加关注局部特征，没有统筹全局特征，导致通过卷积神经网络进行牛身识别的性能不好，且都是基于平衡牛只数据进行训练识别，在不平衡样本情况下效果并不理想，然而在采集实际场景中，采集的牛只数据通常是不平衡的。本文数据集通过实际场景下进行采集，主要通过牛舍和挤奶通道中的摄像头采集，牛舍中牛只可以自由活动，而通道中的牛只活动受限，因此，采集到的牛舍中的牛只图像姿态多样化且数量较多，而挤奶通道中的牛只姿态单一且数量较少，导致在训练过程往往偏向于牛舍中的牛只，而挤奶通道中牛只的准确性较差。

发明内容

对于实际应用场景中采集的牛只数据不平衡引起的训练识别效果不理想，本发明提供了一种基于MBN-Transformer的不平衡牛身数据双边识别算法。本算法通过增加平衡采样器增大牛只少类别的采样率，并通过动态融合混合增强模块减少因平衡采样器可能带来的过拟合问题，同时采用视觉Transformer(Vision Transformer，ViT)作为主干网络，增强牛身图像全局信息的关联，采用Transformer编码器设计平衡分支和常规分支模块，分别处理牛舍随机采样器的图像混合增强数据和挤奶通道平衡采样器的图像混合增强数据，并将两个分支的输出特征通过特征动态平衡因子融合，该融合特征随着训练次数而变化，解决挤奶通道中牛只姿态单一图像识别率性能较差问题。

本发明所采用的技术方案为：

S1、构造数据集，并将数据集划分为训练集和测试集。

本发明所采用的数据集为通过牛群目标检测分割网络得到的牛身图像。将划分后的训练集利用平移、旋转、放缩操作进行扩充来满足牛身的不同姿态，以获得泛化性更强的模型。

S1-1:通过牛群目标检测分割网络采集若干类牛的图像数据。

S1-2:利用平移、旋转、放缩操作对训练集进行扩充。并将扩充后训练集的图像数据归一化到同样分辨率大小。

S2、设计MBN-Transformer模型。