[发明专利]一种基于改进距离核主成分分析的手写体数字识别方法

权利要求书

1.一种基于改进距离核主成分分析的手写体数字识别方法，其特征在于：具体方法在计算机中是按以下步骤实现的：

步骤（1），将手写体数字样本以特征向量的形式输入计算机，首先将MNIST手写体数字数据库进行解压，分解为单个图像的形式，其中包括：60000个训练样本和20000个测试样本，

设定：从中选择至少20000个训练样本L组成训练样本数据集合,用{L}表示，每副图像表示为：x_l,l＝1,2,…,l…,L，其中，每副图像的大小为28×28个像素点，L个训练样本图像共有L×784个像素点，L个训练样本内样本数据的协方差矩阵R为：

R=1LΣl=1LxlxlT---(1)]]>

步骤（2），选择距离核函数K(x_i,x_j)，利用非线性映射集合Φ把原始空间的训练数据集L映射到核特征空间F中；

步骤（2.1），设定Φ为每个所述训练样本x_l的非线性映射关系Φ(x_l)的集合，Φ＝{Φ(x₁),Φ(x₂),…Φ(x_l),…Φ(x_L)}，则距离核函数K(x_i,x_j)定义为训练样本数据集L中任意两个样本x_i,x_j的非线性映射关系Φ(x_i),Φ(x_j)的内积：

K(x_i,x_j)＝＜Φ(x_i),Φ(x_j)＞,i∈L,j∈L，

当把原始空间的训练样本数据集L用距离核函数K(x_i,x_j)映射到核特征空间F中时：K(x_i,x_j)＝＜Φ(x_i),Φ(x_j)＞＝-c||x_i-x_j||^d，0≤d≤2，当取c=1时，d=0.3，得到训练样本的数据映射样本集；

步骤（2.2），对每一个训练样本的映射样本数据进行标准化处理，得到：

φ(xij)=Φ(xij)-A‾jSj---(2)]]>

其中样本均值：Φ(x_ij)表示每个样本的像素集合，第j个样本的标准差：得到标准化后的训练样本的数据映射样本集如下：

φ＝{(φ(x₁₁),...,φ(x_1M)),(φ(x₂₁),…φ(x_2M)),(φ(x_L1),…φ(x_LM))},M＝784；

步骤（3），采用K均值聚类的方法将步骤（2）得到的标准化的训练样本的训练数据映射样本集数据分成N类子集；

步骤（3.1），在核特征空间F中，将标准化后的训练样本的训练数据映射样本集L随机分成N类，每一类的训练数据映射样本个数相等，每一类的训练数据映射样本个数为L_n，则n＝1,2,…,n,…,N，将每一类的训练数据映射样本的均值作为初始聚类中心的集合，N<L,其中，第n个初始聚类中心为C_n：

Cn=1LnΣn=1Lnφ(xni),]]>n＝1,2,…,n,…N,i＝1,2,…,L_n     （3）

其中，φ(x_ni)是第n类的第i个样本在核特征空间F上的投影；

步骤（3.2），在核特征空间F中分别计算每一个标准化后的训练数据映射样本φ(x)与N个初始聚类中心的距离D：

D=||φ(x)-Cn||2=||φ(x)-1LnΣn=1Lnφ(xni)||2]]>           （4）

=<φ(x),φ(x)>-2Ln<φ(x),Σi=1Lnφ(xni)>+]]>

1Ln2Σl=1LnΣm=1Ln<φ(xnl),]]>φ(x_nm)＞,l∈L_n,m∈L_n,l≠m

其中，φ(x_nl),φ(x_nm)分别表示第n类的第l个样本和第m个样本；

步骤（3.3），根据步骤（3.2）所得到的结果，若给定训练样本x的标准化训练数据映射样本φ(x)与第n个初始聚类中心的距离最小，则给定的训练样本x属于第n个初始聚类中心所在的类别，从而得到N类子集；

步骤（3.4），对于步骤（3.3）中得到的每类子集，分别以每个训练数据映射样本为类中心，计算类内其它各映射样本的样本点到类中心的距离，并算出距离之和，距离之和最小的类中心就是该类的类中心c_n^*。最小的距离之和就是该类的误差平方和，将各类的误差平方和加起来就得到总的误差平方和的值D^*，计算公式如下：

D*=Σn=1NΣi=1Ln||φ(xi)-cn*||---(5)]]>

其中D^*表示总的误差平方和，c_n^*表示更新后的聚类中心；

步骤（3.5），重复步骤（3.3）和步骤（3.4），直到N类子集总的误差平方和的变化值小于设定的误差平方和变化值ΔD为止，ΔD<0.001，从而把训练样本集L分成N类子集，并得到每类的聚类中心；

步骤（4），按以下步骤在核特征空间F中对步骤（3.5）中的每类子集进行主成分分析计算得到变换矩阵

步骤（4.1），计算第n类训练数据映射样本子集的核矩阵中的特征值和特征向量，步骤如下：

步骤（4.1.1），设定经过子集划分后的第n类子集为n＝1,2,…,N，L_n为子集X_n的样本个数，显然，有以及成立，经过非线性变换之后，子集X_n对应的特征点集为核矩阵K分为N×N块，即K＝K_ij，i＝1,2,…,N,j＝1,2,…,N,其中：K_ij＝φ^T(X_i)φ(X_j)，X_i,X_j表示第i,j类子集的原始训练样本；

步骤（4.1.2），按下式计算每类映射子集的协方差矩阵R_n，R_n＝φ(X_n)φ^T(X_n)其中：φ(X_n)表示第n类子集在特征空间中的样本训练集，X_n表示第n类子集的样本，计算得到R_n的特征值为：对应的特征向量是：得到：

Rn=Σj=1Lnλjnvjn(vjn)T=Σj=1Lnv·jn(v·jn)T,j=1,2,...,Ln---(6)]]>

其中，为核矩阵K_nn的单位特征向量，其对应特征值为

步骤（4.2），根据累积贡献率选择R_n的最大的前p_n个特征值对应的特征向量，设R_n的L_n个特征值为则R_n的前t个特征值的累积贡献率γ(t)为：

γ(t)=Sn(t)Sn---(7)]]>

其中，t为设定值，是任意选择的，S_n为总特征值:S_n(t)为前t个特征值，给定一个累积贡献率r_a＝85%，逐渐增加t直到某一个t_s，有γ(t_s)≥r_a，则选择R_n的最大的前p_n个特征值对应的特征向量，p_n的个数为t_s个；

步骤（4.3），根据各类子集与总训练集L的协方差矩阵的关系求变换矩阵根据步骤（4.2）的结果，若满足以下条件：

Σn=1NΣj=pn+1Lnλjn<<Σn=1NΣj=1Lnλjn---(8)]]>

即在标准化后的训练数据映射样本集中，每类子集内第p_n+1个特征值以后的所有特征值之和相对于每类子集标准化后的训练数据映射样本集的特征值之和非常小可以忽视的情况，则令R_n的近似矩阵用表示:

R·n=Σi=1pnv·in(v·in)T---(9)]]>

用前p_n个特征值的特征向量来表示R_n的协方差矩阵，又由于总训练样本集的协方差矩阵和每类子集的协方差矩阵满足以下的关系：

R=1LΣi=1Lφ(xi)φT(xi)=]]>

1LΣn=1NΣi=1Lnφ(xni)φT(xni)==1LΣn=1NRn---(10)]]>

总协方差矩阵的近似矩阵表示为可表示为：

R·=1LΣn=1NR·n=1LΣn=1NΣj=1pnv·jn(v·jn)T---(11)]]>

得到这样对R的特征值分解就可以近似的转换为对的特征值分解，设和为的特征值和特征向量，则有：

R·μ·=λ·μ·---(12)]]>

特征向量即是变换矩阵，变换矩阵可表示为：

μ·=Σn=1NΣj=1pnv·jkβ·nj=Σk=1NΣj=1pnφ(Xn)αjnβ·nj---(13)]]>

系数n＝1,2,…,N,j＝1,2,…,p_n为设定值；

步骤（5），对训练样本数据集和测试样本数据集利用变换矩阵进行投影，分别得到训练样本的特征数据集和测试样本的特征数据集；

步骤（5.1），利用变换矩阵求训练样本的特征数据集，将式（9）、（13）代入式（12），得到：

K·a·=λ·a·---(14)]]>

式中，i＝1,…N,j＝1,…,N为近似核矩阵，是一个分块矩阵，是p_i×p_j阶矩阵，p_i,p_j分别表示选择的前p_i,p_j个特征值和特征向量，这样利用近似核矩阵就可以计算得到它的特征向量即训练样本特征集：

a·=[γ·11,...,γ·1p1,γ·21,...γ·2p2,γ·N1,...γ·NpN]T---(15)]]>

步骤（5.2），计算测试样本的特征数据集，对于测试样本z,它在特征向量上的投影为：

μ·Tφ(z)=Σn=1NΣj=1pnβ·nj(αjn)TφT(Xn)φ(z)=Σn=1NΣj=1pnβ·nj(αjn)ιn---(16)]]>

式中，K(x_n1,z)表示第n类样本集中第一个样本数据与测试样本数据集的核矩阵；

步骤（6），利用训练样本特征数据集训练支持向量机，得到数字识别的分类器；步骤（6.1），选择径向基函数作为核函数，建立训练模型，其中，径向基核函数形式为：K(x,xi)=exp(-||x-xi||2δ2)---(17)]]>

其中，x_i是核函数中心，δ为函数的半径参数；

步骤（6.2），采用LIBSVM2.86软件包来建立支持向量机的训练模型，确定径向基核函数的惩罚因子和参数半径的最优值，利用LIBSVM软件包建立的训练模型是：

model=svmtrain(TrainLabel,Strain,’-c1024–g0.25’)；

其中，TrainLabel表示训练样本的真实标签值，Strain表示训练样本的特征数据集，c表示惩罚因子，g即δ，表示径向基核函数的半径参数，采用十折交叉验证法来选择最优参数来提高预测精度，将训练集分成十份，轮流将其中九份做训练样本，一份做测试样本，平均十次的结果最终得到一个单一估测值；

步骤（7），将测试样本特征数据集输入到已训练好的支持向量机分类器，得到数字识别结果，

步骤（7.1），利用建立好的分类模型测试训练样本的识别率：

preTrainlabel=svmpredict(TrainLabel,Strain,model)；

步骤（7.2），将测试样本特征集放入分类模型中，得到分类结果：

cv=svmpredict(TestLabel,Stest,model);

其中，TestLabel是测试样本集中每个样本的真实标签值，Stest表示测试样本的特征数据集，model是建立好的训练模型，cv得到的结果就是测试样本利用分类模型得到的识别结果，将由支持向量机识别得到的结果和标准的测试样本值做比较，如果相同则识别正确，否则识别错误，以此得到识别正确率。