[发明专利]一种基于局部流形判别分析投影网络的分类方法

说明书

本发明公开了一种基于局部流形判别分析投影网络的分类方法，它对卷积核进行改造，经过改造之后的卷积核能够发现图像流形潜在的局部结构，同时具有高敏感的判别能力。在小样本的情况下，该方法也能表现出较好的判别性和适应性。输入图像与改造之后的卷积核进行卷积并学习到具有代表性的特征，经过多尺度特征分析层输出特征，完成特征提取之后，特征表达被送入分类模型完成分类。本发明具有较小的训练时间、较高的识别准确度，同时具有自适应性和良好的扩展性。

技术领域

本发明涉及图像处理的模式识别技术领域，属于机器学习中流形学习的范畴，具体来说涉及了一种基于局部流形判别分析投影网络的分类方法。

背景技术

在模式识别领域，提取有效的特征表达是解决分类任务的关键，同时，有效的特征表达可以提高图像识别算法的精度和鲁棒性。早期的特征提取方法可以分为两种：基于局部的和基于全局的，比如，基于局部特征的尺度不变特征转换SIFT和局部二值模式LBP；基于全局特征的主成分分析PCA、线性判别分析LDA以及这些方法的变体。虽然这些特征提取方法在提取图像特征时取得了不错的效果，但它们很难能够抓住图像潜在的局部流形判别信息。最近几年，基于深度学习的特征提取方法在一系列分类任务中取得了巨大的成功，由于其先进的网络结构，其分类精度达到了前所未有的水平。因此，大量的研究人员纷纷将视角转向了深度学习提取特征的方法。

深度学习提取特征的方法一般是指深度神经网络，它由多层神经网络构成，可以学习到不同层次特征表达，且不需要大量领域先验知识。自从1989年Yan Lecun等人在前人的基础上提出了具有BP结构的卷积神经网络(CNN)，关于CNN模型的研究逐渐成为热点。在2012年Krizhevsky等人将CNN改造成深度卷积神经网络(AlexNet)，在具有挑战性的ImageNet标准数据库取得了不错的结果。后续出现了类似于AlexNet的深度网络模型，这些网络相比之前的卷积神经网络具有更深的层次，更复杂的网络结构和更大规模的参数。

然而，卷积神经网络的“黑盒子”性质意味着人们不知道神经网络如何以及为什么产生某种输出。例如，当我们将狗的图像放入神经网络并将其预测为汽车时，很难理解是什么导致它产生这种预测，并且训练过程中涉及了大量的参数，而参数的调整又需要特别的调参技巧。为了提高模型的学习能力，Karen Simonyan等人在“ICLR 2015”发表的“Verydeep convolutional networks for large-scale image recognition”，ChristianSzegedy等人在“CVPR2015”会议上发表的“Going deeper with convolutions”，以及Kaiming He等人的“Deep Residual Learning for Image Recognition”(arXiv：1512.03385)文章都传达一个共同点，即通过增加网络的深度或宽度来增加网络的学习能力。但学习能力不断提升则使模型容易出现过拟合的问题。Nitish Srivastava等人在“Dropout：A Simple Way to Prevent Neural Networks from Overfitting”一文中提出使用“Dropout”解决过拟合问题。后续一些学者提出了其他的策略来解决过拟合问题，比如Zeiler在“ICLR 2013”提出随机卷积策略的思想来代替传统的卷积过程。除了过拟合问题之外，深层卷积神经网络模型非常耗费计算资源，这样会导致在终端部署和低延迟需求场景下难以应用的问题，因此，Song Han等人在“ICLR 2016”发表的“Deep compression：Compressing deep neural network with pruning，trained quantization and huffmancoding”一文中提到三种方式(网络剪枝、共享量化权重矩阵、量化值进行huffman编码)对深度神经网络进行压缩，Forrest N.Iandola1等人在“SqueezeNet：AlexNet-levelaccuracy with 50x fewer parameters and0.5MB model size”文章中提出一个新的模型压缩方法，通过提出的压缩层(Squeeze Layer)和file module单元将CNN模型参数降低50倍，但压缩之后的模型参数依然很大。