[发明专利]手写数字识别的增量式模糊支持向量机方法

说明书

技术领域

本发明涉及图像处理与模式识别，特别是一种手写数字识别的增量式模糊支持向量机方法，可有效用于邮政编码、统计报表、财务报表、银行票据等手写数字识别领域。

背景技术

支持向量机（SVMs,Support Vector Machines）是在两类问题分类的基础上提出的一种分类方法，其基本的思想是最大限度地分开两类训练样本，即对于一个两类问题的训练样本，构造一个分类超平面，使得分类间隔达到最大。

支持向量机是建立在两类问题分类基础之上的分类器，如何将其推广到多类问题是支持向量机研究领域的一个重要方面。目前较多使用的方法有：1-a-a(one-against-all)方法。该方法将训练集中的某一类样本提取出来作为一类，剩余的所有训练样本作为一类，构造多个两类支持向量机。在决策时，将未知的样本分到决策值最大的那一类。手写数字有0-9共10个类别，必须构造10个支持向量机，有10个判别函数。1-a-1(one-against-one)方法。该方法提取训练集中的任何两类训练样本，构造一个支持向量机。在决策时，对未知数据用每个支持向量机去判别，对其所属的类别“投上一票”，最后按照其得票最多的为其所属的类别。手写数字识别问题，必须构造10(10-1)/2=45个支持向量机，有45个决策函数。这两种方法都存在不可分区域，T.Inoue和S.Abe在1-a-a机制和1-a-1机制的基础上引进一种模糊化的决策机制，将SVMs推广到多类问题,构造模糊支持向量机，其定义了一个与分类超平面垂直的隶属度函数，将多个隶属度函数组合在一起可减少不可分区域，提高了识别问题的预测精度。

对于训练集S={(x_i,y_i)|(x_i,y_i)∈R^d×R,i＝1,2,...,l}，其中l是训练样本的个数，d是输入的维数，R是实数，x_i是支持向量机的输入，对于手写数字识别而言，就是已知类别的手写数字，y_i是支持向量机的输出，对于手写数字识别而言，就是0-9之间的数字。构造S最优分类超平面w^Tx+b=1（其中x是与x_i具有相同维数的向量，w是与x_i具有相同维数的权向量，b是偏置）可以转化为下面的优化问题

minQ(α)=12αHαT-αI]]>

s.t.αy=0

0≤α^T≤CI

其中H称为Hessian矩阵，α=(a₁,a₂,...,a_l)，I是分量全为1的长度为l的向量，y=(y₁,y₂,...,y_l)，C为支持向量机的复杂性参数。

支持向量优化问题只能在当训练数据的数目很小或者支持向量已知的情况，才能分析优化问题。对于一般的分析情况，最糟糕的情况计算复杂度是其中N_svs是支持向量个数。

训练过程和识别过程核函数K(x_i,x_j)的计算仅仅与数据本身，与数据映射到高维空间的维数无关。尽管高维空间可能是无限维的，但是计算K的复杂度却可以小很多。例如，对于形如K=(x_i·x_j)^p的阶为p多项式核函数，K(x_i·x_j)的计算只需要O(d)次操作（d为数据的维数），但是其计算的仅仅是H矩阵中的一个元素。对于整个训练集，H矩阵的计算复杂性为O(dl²)。正是这一特征，SVMs在原空间可以处理高维特征空间的分类超平面的构造难题，从而有效地避免了维数灾难。