[发明专利]基于实例学习和Sadowsky分布的卷积神经网络参数调整方法

摘要

本发明公开了一种基于实例学习和Sadowsky分布的卷积神经网络参数调整方法，主要是在利用卷积神经网络训练分类模型的基础上，将特例样本的进一步分类问题归结为基于Sadowsky分布的感知问题，并从理论上证明了感知特征向量中存在Sadowsky分布；通过构造实例集合、Sadowsky分布搜索算法和满足Sadowsky分布的权值映射算法，来训练新的实例卷积神经网络；在分类决策时，两个卷积神经网络共同作用于样本，取概率最大值对应的标签作为分类的结果。本发明的方法能够在保证具有公共特征的样本分类正确的基础上，进一步提高特例样本的分类精度。

主权项

基于实例学习和Sadowsky分布的手写体数字识别方法，其特征在于，包括以下步骤：一、利用有限的样本集和最简单的卷积神经网络结构，训练一个分类模型Model1(1)准备训练样本在数字手写体样本中选择较难区分的多张数字手写体灰度图像样本作为训练样本；(2)设置卷积神经网络结构2a、设计卷积神经网络容量数字手写体共分为10类，全连接层的h(4)具有10个隐神经元，x1为输入样本，数字手写体图像大小为28×28，假设卷积模板个数为N，卷积模板大小为M×M，下采样维数为2，则全连接层的权值共有个，选择卷积模板7到13，卷积模板个数为15到20个，选择卷积层只有一层的卷积神经网络；2b、设计卷积神经网络的激活函数激活函数采用S型激活函数；2c、设计卷积神经网络的下采样选择大小为2×2的均值下采样；2d、设计卷积神经网络的损失函数L=-1NΣi=1Nyi′logP(xi)+λ2||W(2)||2+λ2||W(3)||2;]]>2e、设计卷积神经网络全连接层分类器全连接层采用Soft‑Max回归，该回归是逻辑回归在多分类问题上的推广，令(xi,yi)为标记过的样本，已知Soft‑Max解决的是数字手写体多分类问题，因此yi取值为10个不同种类，即yi＝{1,2,……,k}，取P(yi|xi;θ)=P(y=1|xi;θ)P(y=2|xi;θ)...P(y=k|xi;θ),]]>Soft‑Max回归是假设分布满足逻辑分布函数：P(y=1|xi;θ)P(y=2|xi;θ)...P(y=k|xi;θ)=1Σj=1keθixieθ1xieθ2xi...eθkxi;]]>2f、设计卷积神经网络的优化算法选择应用最广泛的随机梯度下降法进行权值更新；2g、训练卷积神经网络设置好卷积神经网络后，训练卷积神经网络，直至到达局部最优，得到的分类模型记作Model1；二、利用分类模型Model1构造实例集合在训练集中选择经过Model1预测正确但概率较低的样本作为实例，每个种类随机选择其中概率较大的至少3个样本作为实例，添加进实例集合；三、建立基于Sadowsky分布的感知模型分类模型Model1输出的结果为正确的分类标签或与正确分类标签最接近的错误标签，将输出结果看成一个二分类问题，为该二分类问题建立基于Sadowsky分布的感知模型；四、通过搜索高斯分布近似Sadowsky分布；五、通过感知模型调整基于实例的卷积神经网络卷积模板的参数，得到分类模型Model2；六、输入样本利用分类模型Model1和分类模型Model2进行联合训练；七、基于联合卷积神经网络进行分类预测输入待测试样本，利用Model1预测该样本属于各个类别的概率,同时将待测试样本输入Model2，得到各个类别的预测概率,选择两模型结果中概率最大的类别作为该样本的最终类别。