[发明专利]基于卷积神经网络和支持向量机的手写数字识别方法

说明书

技术领域

本发明涉及一种结合CNN和SVM的手写数字识别方法，尤其涉及一种结合卷积神经网络和支持向量机的手写数字识别方法。

背景技术

手写数字识别作为图像识别应用中的重要分支，其在生产生活中的重要性也逐渐体现出来。手写数字识别可以用于读取银行支票信息、信封邮政编码信息、海关等需要处理大量字符信息录入的场合。因此人们对计算机所建立的手写数字识别系统的要求也不断提高，手写数字识别系统要完成识别阿拉伯数字的任务，先决条件是构建手写数字识别模型，所以手写数字识别方法研究中最基础的问题是手写数字的特征提取及分类。

目前解决手写数字识别的方法有很多，比较常用的是卷积神经网络方法和支持向量机方法等。卷积神经网络方法由于输入图像和网络的拓扑结构相容性很好，是端到端的学习，相对其他神经网络在手写数字识别任务上训练的参数少，但是其网络中滤波器大小，网络层次的深度和在不同问题集上的识别效果不同。支持向量机方法具有坚实的理论基础，鲁棒性强，泛化能力强，但是其是一种小样本学习方法，对大量的样本无法充分的学习其模型，所以结合卷积神经网络和支持向量机进行手写数字识别具有重要意义。

公开号为CN104298987A的专利：一种基于点密度加权在线FCM聚类的手写数字识别方法，用于处理大规模的脱机手写数字识别问题，包括步骤：1)预处理所有手写数字图像集合；2)初始化聚类中心，令数据点顺序进入处理流程；3)计算当前数据点与各聚类中心隶属度；4)若隶属度达到阈值更新最近聚类中心位置；5)若未达到阈值则不处理该点并暂时放入待处理区；6)待处理区达到一定标准则用点密度加权FCM算发聚类待处理区中数据，更新聚类中心；7)继续循环直至数据点全部处理完毕；8)用获得的聚类中心分块计算全部数据点的隶属度，并划分类别，通过一次扫描完成数据归类。本发明在处理大规模手写数字识别问题方面能够降低空间复杂度以及时间复杂度。但是该方法在形变非常大且数字相似时数字识别的效果不是太好。

公开号为CN102982343A的专利：包括手写数字的图像的采集和二值化处理；对采集的图像进行分割，构造由手写数字的图像为输入和0-9数字为输出的训练集；构造增量函数，并将该增量函数映射到区间[0,1]；设置以λ表示增量参数和模糊支持向量机的计算复杂性参数；确定手写数字的类别，根据任何两个手写数字之间的分类超平面，确定手写数字的类别，在已知类别的手写数字上检验识别精度，确定手写数字类别的方法。但是该方法在手写数字数据量增大时，不能提取出表达能力很好的特征。

本发明提出了一种结合CNN和SVM的手写数字识别方法，该方法将卷积神经网络模型和支持向量机模型进行有机结合。结合卷积神经网络和支持向量机的手写数字识别模型很深度的描述样本数据和期望数据的相关性，对数字模式分类的区分能力很强。而且卷积神经网络模型和支持向量机模型它们的目标是区分性的，使生成的手写数字识别系统的输出更易优化。本发明简单且易于实现，手写数字识别效果很好。

发明内容

针对现有技术的不足，提出了一种提高识别效果的基于卷积神经网络和支持向量机的手写数字识别方法。本发明的技术方案如下：一种基于卷积神经网络和支持向量机的手写数字识别方法，其包括以下步骤：

步骤1：采集手写数字图像作为样本，生成训练数据和测试数据，初始化卷积神经网络；

步骤2：将训练数据均匀分批输入卷积神经网络中，训练数据分别经过卷积层、降采样层、卷积层、降采样层、多层感知器，完成前向传播；

步骤3：对步骤2中多层感知器进行误差计算和梯度计算，并判断误差是否收敛；若是，则跳转至步骤5，否则跳转至步骤4；

步骤4：将步骤3中得到的误差和梯度用反向传播算法，经过降采样层、卷积层、降采样层、卷积层、输入层逐层传播，并且逐层更新网络的权重，判断是否为输入层，若是则跳转至步骤2，否则重复步骤4；提取出特征数据；

步骤5：将通过步骤4的卷积神经网络模型训练提取的特征数据传到支持向量机中进行训练，建立手写字符识别训练模型；

步骤6：将卷积神经网络提取的测试特征数据输入支持向量机，最终，得到准确的识别结果。

进一步的，所述步骤1中初始化卷积神经网络为：设置卷积神经网络中的参数，其中包括：卷积核的数量、降采样层的数量、卷积核的大小、降采样层的降幅，初始化卷积核的权重和偏置。