[发明专利]基于增量半监督核极限学习机的在线手写体数字识别方法

说明书

一种基于增量半监督核极限学习机的在线手写体数字识别方法，包括以下步骤：给定标记样本和未标记样本，通过拉普拉斯正则项提取标记样本和未标记样本信息；建立核极限学习机模型，监督极限学习机找出一个映射函数和极限学习机的一个特征映射，确定极限学习机的训练目标，学得一个权值矩阵，使得映射函数和特征映射之间的差值最小，将权值向量转化为一个正则优化，然后建立核极限学习机模型；建立增量半监督极限学习机，并给出迭代解析解；标记和未标记样本中包含的信息被累积在迭代解析解中，半监督极限学习机给出一个判别决策函数，识别新得到的测试样本。本发明能在仅有少量标记样本时得到精确、稳健的手写体数字识别。

技术领域：

本发明涉及手写体数字识别技术领域，特别涉及一种基于增量半监督核极限学习机的在线手写体数字识别方法。

背景技术：

手写体数字识别(Handwritten Digits Recognition,HDR)是图像处理和模式识别领域解决计算机视觉问题的一个重要研究方向，目前已有包括多层感知器(MultilayerPerception,MLP)、支撑向量机(Support Vector Machine,SVM)、卷积网络(ConvolutionalNeural Networks,CNN)在内的很多有监督机器学习方法被用于手写体数字识别,并得到了很高的识别率.但这些有监督方法需要大量的标记样本,这个要求在银行支票分析、邮政邮件排序等手写体识别实际应用问题中通常是不可满足的。为了克服这个问题,有一些用于手写体数字识别,如基于图的方法，这些半监督方法在提取标记样本信息的同时,也从大量的未标记样本中提取信息,从而提高了手写体数字的识别率；

但是这些批量学习(batch learning)方法要在得到全部训练样本时才能训练分类器,而且在得到新样本时,要储存和再训练所有的训练样本,加重了识别所需的存储和计算负担,对于当前实际应用中大量出现的数据流识别问题很不方便,因此有一些增量/在线学习(incremental/online learning)方法被提出,如增量支撑向量机(IncrementalSupport Vector Machine,I-SVM)[6]、在线稀疏线性判别模型等，这些有监督增量方法虽然能大大降低计算和存储代价,但是不能利用大量未标记样本中所包含的有用信息。

发明内容：

有鉴于此，有必要提供一种基于增量半监督核极限学习机的在线手写体数字识别方法。

一种基于增量半监督核极限学习机的在线手写体数字识别方法，包括以下步骤：

步骤一，给定标记样本和未标记样本，通过拉普拉斯正则项提取标记样本和未标记样本信息；

步骤二，建立核极限学习机模型，监督极限学习机找出一个映射函数和极限学习机的一个特征映射，确定极限学习机的训练目标，学得一个权值矩阵，使得映射函数和特征映射之间的差值最小，将权值向量转化为一个正则优化，然后建立核极限学习机模型；

步骤三，建立增量半监督极限学习机，并给出迭代解析解；

步骤四，标记和未标记样本中包含的信息被累积在迭代解析解中，半监督极限学习机在任意时刻给出一个判别决策函数，通过判别决策函数，识别新得到的测试样本。

优选的，核极限学习机模型建立的具体方法为：

给定l个标记样本，和u个未标记样本其中是第i个样本的输入，d是样本的维数，是x_i(i＝1,…,l)的对应目标，c是样本的类别数；如果x_i属于第j类,则否则，监督学习的目标是找出一个映射函数f:使得f(x_i)≈y_i(i＝1,2,…,l)；极限学习机通过L个激活函数的线性组合通过公式一来表示；