[发明专利]加速基于卷积神经网络的中文手写体识别的方法

说明书

一种基于卷积神经网络的中文手写体识别的加速方法，包括如下步骤：手写字符图片数据预处理，方便卷积神经网络的分类实现；搭建卷积神经网络结构，在浅层加入第一分类器，中间层加入第二分类器，顶层加入第三分类器；初始化网络参数，固定浅层网络和第一分类器的参数，利用第二分类器的损失函数指导网络训练，更新中间层网络和第二分类器的参数；固定浅层网络、中间层网络、第一分类器和第二分类器的参数，利用第三分类器的损失函数指导网络训练，更新顶层网络和第三分类器的参数；对三个分类器的损失函数进行加权，利用加权后的损失函数微调整个网络和三个分类器的参数；在测试集上对网络的三个分类器进行测试，评估分类器的性能，并且计算三个分类器所需的计算量。

技术领域

本发明涉及深度学习技术，特别是卷积神经网络在手写体识别中的应用，具体涉及的是一种基于卷积神经网络的中文手写体识别的加速方法。

背景技术

由于在拍照文档、邮政信封、支票、手稿文书等光学字符识别系统以及手写文字输入设备中的广泛应用前景，中文手写体识别一直是模式识别领域的一个重要研究方向，得到了学术界和工业界的广泛研究和关注。传统的中文手写体识别系统主要采用一些人工设计的特征，如Gabor特征和Gradient特征，利用二次判决函数等分类器对字符进行分类。近年来，随着深度学习的兴起，卷积神经网络对中文手写体识别带来极其有效的解决办法，基于卷积神经网络的方法取得的结果均大幅度领先传统的方法。

然而，由于卷积神经网络计算的特殊性，网络需要巨大的乘加运算，例如经典的VGG16网络需要约153亿次乘加运算，即便是现有的一些轻量级网络，仍然需要数百万次乘加运算，如此巨大的运算量限制了卷积神经网络的应用。本发明在现有基于卷积神经网络的中文手写体识别上，采取增加中间层输出的方案，将简单样本和困难样本区别对待，用浅层的网络对大部分简单样本进行识别，而困难样本则在网络中继续提取更有区分力的特征，以少量的运算代价实现对大部分简单样本的分类，困难样本用相对较多的计算代价实现分类，以此达到加速基于卷积神经网络的中文手写体识别。

发明内容

本发明的目的是提供一种基于卷积神经网络的中文手写体识别的加速方法，其是通过增加中间层输出的方案，将简单样本和困难样本区别对待，用浅层的网络对大部分简单样本进行识别，而困难样本则在网络中继续提取更有区分力的特征，以少量的运算代价实现对大部分简单样本的分类，困难样本用相对较多的计算代价实现分类，以此加速基于卷积神经网络的中文手写体识别方案。

本发明提供一种基于卷积神经网络的中文手写体识别的加速方法，包括如下步骤：

步骤1：手写字符图片数据预处理，方便卷积神经网络的分类实现；

步骤2：搭建卷积神经网络结构，在浅层加入第一分类器C₁，中间层加入第二分类器C₂，顶层加入第三分类器C₃；

步骤3：初始化网络参数，利用分第一类器C₁的损失函数指导网络训练，更新浅层网络和第一分类器C₁的参数；固定浅层网络和第一分类器C₁的参数，利用第二分类器C₂的损失函数指导网络训练，更新中间层网络和第二分类器C₂的参数；固定浅层网络、中间层网络、第一分类器C₁和第二分类器C₂的参数，利用第三分类器C₃的损失函数指导网络训练，更新顶层网络和第三分类器C₃的参数；

步骤4：对三个分类器的损失函数进行加权，利用加权后的损失函数微调整个网络和三个分类器的参数；

步骤5：在测试集上对网络的三个分类器进行测试，评估分类器的性能，并且计算三个分类器所需的计算量。

从上述技术方案可以看出，本发明一种加速基于卷积神经网络的中文手写体识别的方法至少具有以下有益效果其中之一：