[发明专利]一种基于稀疏正交神经网络的图像分类方法

说明书

本发明公开了一种基于稀疏正交神经网络的图像分类方法，将获取图像数据作为样本集X和与之对应的样本标签集Y；先将样本集X和标签集Y的训练集输入稀疏正交神经网络模型，初始化代理变量V，根据正交权重Wsubgt;orth/subgt;和稀疏矩阵G获得稀疏正交权重Wsubgt;orth_es/subgt;，再通过设定遍历次数计算图像样本预测值跟真实值之间的损失Loss，反向传播更新代理变量V后，直到输出最优的稀疏正交权重Wsubgt;orth_es/subgt;，从而获得训练好的稀疏正交神经网络模型；再利用训练后的稀疏正交神经网络模型对测试集进行处理输出图像的分类结果。本发明引入了稀疏矩阵，从而构造出稀疏权重，再运用稀疏权重实现网络的剪枝，减少网络中的参数使用，从而进行了模型的压缩，减少了计算机内存的使用，降低了模型训练时计算机的计算量。

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于稀疏正交神经网络的图像分类方法。

背景技术

随着时代的发展，图像识别技术已经逐渐应用于越来越多的领域。深度学习中图像识别的准确率和可靠性也越来越高。一个最主要的因素就是它是由多层非线性变换组成，这些变换具有大量可学习的权重和参数。由于大量的参数，深度网络需要使用大量的计算机内存和计算量来进行训练，并且如果训练数据不充分的话可能会导致过拟合的问题。基于这个问题，很多研究者通过减少参数来实现模型的压缩。

传统的方法通过Dropout剪枝方法对神经网络进行剪枝，实现了网络参数的减少，但是因其随机对神经元进行剪枝，但是伤害了网络的训练效率，往往需要更多的训练次数来达到比较好的准确率。

Batch Normalization批归一化技术的提出能够有效的防止网络的梯度爆炸和梯度消失的问题。但是其在小数据量上不能够发挥的很好。现有的神经网络对图像进行分类存在着以下一些问题：

1.深度神经网络往往需要很多的参数进行图像的识别，图像的训练和测试的代价过高。

2.深层的神经网络往往会带来梯度消失和梯度爆炸的问题，并且现有的处理技术还存在一定的缺陷。

发明内容

本发明根据现有技术中存在的问题，提出了一种基于稀疏正交神经网络的图像分类方法，引入了稀疏矩阵，从而构造出稀疏权重，再运用稀疏权重实现网络的剪枝，减少网络中的参数使用，从而进行了模型的压缩，减少了计算机内存的使用，降低了模型训练时计算机的计算量。

本发明所采用的技术方案如下：

一种基于稀疏正交神经网络的图像分类方法，包括以下步骤：

步骤1，获取图像数据作为样本集X和与之对应的样本标签集Y；

步骤2，先将样本集X和标签集Y的训练集输入稀疏正交神经网络模型，初始化代理变量V，根据正交权重W_orth和稀疏矩阵G获得稀疏正交权重W_{orth_es}，再通过设定遍历次数计算图像样本预测值跟真实值之间的损失Loss，反向传播更新代理变量V后，直到输出最优的稀疏正交权重W_{orth_es}，从而获得训练好的稀疏正交神经网络模型；

步骤3，再利用训练后的稀疏正交神经网络模型对测试集进行处理输出图像的分类结果。

进一步，所述初始化代理变量V的方法为：对V做一个中心化处理：其中，1_d是一个全都是1的d维向量；

进一步，获得正交权重W_orth的方法为：

先构建正交模型：

min_ptr((W-Vc)(W-Vc)^T)

s.t.W＝PVc and WW^T＝I