[发明专利]基于增量半监督核极限学习机的在线手写体数字识别方法

权利要求书

1.一种基于增量半监督核极限学习机的在线手写体数字识别方法，其特征在于：基于增量半监督核极限学习机的在线手写体数字识别方法包括以下步骤：

步骤一，给定标记样本和未标记样本，通过拉普拉斯正则项提取标记样本和未标记样本信息；

步骤二，建立核极限学习机模型，监督极限学习机找出一个映射函数和极限学习机的一个特征映射，确定极限学习机的训练目标，学得一个权值矩阵，使得映射函数和特征映射之间的差值最小，将权值向量转化为一个正则优化，然后建立核极限学习机模型；

步骤三，建立增量半监督极限学习机，并给出迭代解析解；

步骤四，标记和未标记样本中包含的信息被累积在迭代解析解中，半监督极限学习机在任意时刻给出一个判别决策函数，通过判别决策函数，识别新得到的测试样本；

核极限学习机模型建立的具体方法为：

给定l个标记样本，和u个未标记样本(N＝l+u)，其中是第i个样本的输入，d是样本的维数，是x_i(i＝1,…,l)的对应目标，c是样本的类别数；如果x_i属于第j类,则否则，监督学习的目标是找出一个映射函数使得f(x_i)≈y_i(i＝1,2,…,l)；极限学习机通过L个激活函数的线性组合通过公式一来表示；

公式一表示监督学习的目标找出的映射函数关系；其中是隐层与输出层之间的连接权值矩阵，h(x)＝[h₁(x),h₂(x),...,h_L(x)]是极限学习机的特征映射；

极限学习机的训练目标是学得一个权值矩阵W使得f(x_i)与y_i(i＝1,2,…,l)之间的差值最小；

将优化权值矩阵W转化为一个L₂正则优化；

其中C是均衡训练误差和模型复杂度的正则化参数，是度量期望输出与实际输出之间误差的松弛向量；公式二的解析解为

其中表示隐层与输出层之间联系的权值矩阵,和分别是隐层的输出矩阵和目标矩阵；如果不再使用显式特征映射,而是如SVM核方法一样,用核函数k(x,y)＝h(x)·h(y)表示这种映射关系,函数k是任何满足核定义的核函数,被称为极限学习机核；核矩阵显式的表示为ELM模型重写为

公式四为核极限学习机模型；

增量半监督核极限学习机模型的建立方法为：

其中是训练目标矩阵,它的前l行为其余元素为0,λ是均衡参数，H是全部训练样本所对应的隐层输出矩阵，L＝D-S是全部训练样本所对应的图拉普拉斯矩阵,仿射矩阵S的第ij个元素

NB(x_i)是x_i的近邻集，D是主对角元素为的对角矩阵；公式五中输出权值的闭型最优解为：

因此给定测试样本的输出函数为

得到一个半监督核极限学习机；

假设在时间t，已经被学习的数据记为其中是所有训练样本的输入,是已标记样本的输出；在时间t+1，新获取的数据块为其中是新增训练样本的输入，是数据块中已标记样本的输出；

为了简化运算，在公式六和公式七中将A_t记为

t+1时间的图拉普拉斯矩阵被表述为

其中L_t和L_IC分别为X_t和X_IC对应的图拉普拉斯矩阵；S_t,IC是由X_t到X_IC的仿射矩阵，S_IC,t是由X_IC到X_t的仿射矩阵,D_t,IC和D_IC,t分别是主对角元素为矩阵，S_t,IC及S_IC,t的行元素之和的对角矩阵；另外，t+1时间的核矩阵被表述为

其中Ω_t和Ω_IC分别为X_t和X_IC对应的核矩阵，K_t,IC＝k(X_t,X_IC)；

根据时间t与t+1之间的关系,A_t+1被表示为

其中C_t＝D_t,ICK_t,IC-S_t,ICΩ_IC,F_t＝D_IC,tΩ_IC-S_t,ICK_t,IC；令U_t＝(I_N+λL_t)K_t,IC,为了降低计算代价,用分块矩阵求逆公式求矩阵A_t+1的逆

其中因此,给定一个核函数k(x,y)和极少数已标记样本和少量未标记样本，得出增量半督导核极限学习机的算法：

初始化处理:给定N₀个初始训练样本其中包含个已标记样本,其输出为并选定一个核函数k(x,y),参数C和λ；

对于初始训练样本分别计算图拉普拉斯矩阵L₀和核矩阵Ω₀＝k(X₀,X₀)；

初始化参数

设置t＝0；

在线增量学习处理；

重复以下步骤:

给定第t+1个接收的数据块

对最新的数据块计算图拉普拉斯矩阵L_IC及核矩阵Ω_IC＝k(X_IC,X_IC)，K_t,IC＝k(X_t,X_IC)；

计算参数

计算U_t＝(I_N+λL_t)K_t,IC,

计算

设置t＝t+1,返回初始化处理步骤；

在线预测处理:假设所有训练样本的数目为τ,用学习所得的参数估计给定测试样本X_test的输出即为手写体数字识别的结果。