[发明专利]一种基于多尺度特征融合的零样本学习分类方法

说明书

本发明公开了一种基于多尺度特征融合的零样本学习分类方法，使用深度神经网络模型提取原始尺度图像特征；使用重校准技术对深度神经网络提取的特征图进行二次处理；使用裁剪技术对处理过的特征图进行计算生成细尺度图像；利用所生成的细尺度图像，再通过参数共享的深度神经网络提取细尺度图像特征；将原始尺度和细尺度图像特征进行特征融合，进而将融合特征投影到语义空间和隐空间，分别采用softmax loss和triplet loss进行参数优化和更新；在预测阶段，使用训练阶段得到的转换矩阵W对给定语义信息的图像进行分类识别；本发明使用从原始尺度和细尺度图像提取的深度特征同时参与训练，使得融合特征包含了多尺度的特征，提高了模型的鲁棒性，提高了分类的精度。

技术领域

本发明具体是一种基于多尺度特征融合的零样本学习分类方法，涉及深度学习零样本学习领域。

背景技术

近年来，深度学习经历了规模空前的发展，而推动这一惊人增长的因素包括：算法和模型的复杂性提高，机器计算能力的增长以及大规模数据的应用。事实上，深度学习算法的成功应用离不开大量数据的支持。基于深度学习的分类模型若要达到较高的准确率，需要大量且高质量的人工标注样本进行训练。

对于一些常见类别而言，可以借助于从网络收集或实地拍摄的手段，比较轻松的获取大量的图像。对于一些罕见的类别而言，如濒危物种，该类别不仅存量极少，有时还可能生活于极端的物理环境当中，增加了采集图像的难度，使得收集到大量高质量样本变得不可行。对于一些新产生的类别而言，其样本量为零。在任何情况下，获取足够的数据量以提升模型准确率是不现实的，标记样本可能会异常昂贵且耗时；传统的基于深度学习的学习系统只能识别在训练阶段见到过的类别，而无法识别一个从未出现在训练阶段的类别。

零样本学习算法中研究最广泛的是基于相容性的算法。该类方法将样本图像投影到视觉空间，同时将样本所属类别投影到语义空间，并尽可能缩小视觉空间与语义空间的差异，提升两者的相容性，端到端的算法在训练过程中直接使用原始图像参与训练，这类算法关注的重点在于通过精心设计的各种深度神经网络，提取到具有鉴别性的视觉特征，帮助模型更好的学习到一个从视觉空间到语义空间或视觉空间到隐空间的映射关系，从而提升对于未见类识别的准确率，然后上述方法没有考虑获得更细尺度的图像，从而得到细尺度的图像特征，忽视了模型对于细尺度特征的再次学习对于模型性能提升的关键作用。

发明内容

因此，为了解决上述不足，本发明在此提供一种基于多尺度特征融合的零样本学习分类方法。

本发明是这样实现的，构造一种基于多尺度特征融合的零样本学习分类方法，其方法包括以下步骤：

S1、使用深度神经网络对原图像进行特征提取，得到原始尺寸特征的特征图；

S2、对原图像和上一步得到的特征图，使用重校准定位和裁剪组合技术，得到细尺度图像；

S3、使用参数共享的深度神经网络对细尺度图像进行特征提取，得到细尺度特征，并将两种特征进行融合；

S4、将上一步得到的融合特征投影到语义空间和隐空间，并分别采用softmaxloss和triplet loss进行参数优化；

S5、重复以上步骤，设置多个周期进行训练，最后得到一个表征能力强的零样本学习模型。

进一步的，所述裁剪用于对原始图像进行裁剪操作，裁剪出的区域通常包含对象的整体或对象的部分。

进一步的，所述细尺度图像为保留原图像对象整体且富含语义信息的区域。

进一步的，所述重校准后的特征图自动裁剪出目标区域。

进一步的，所述重校准后的特征图输出是一组包含三个参数的值，三个参数分别代表待裁剪区域在原图像上的中心点坐标和变长。

进一步的，所述目标区域设计成一个正方形。