[发明专利]一种手写体数字识别方法及系统

权利要求书

1.一种手写体数字识别方法，其特征在于，包括：

接收用户输入的待测手写体数字样本；

通过训练得到的第一分类器、第二分类器、第三分类器分别对所述待测手写体数字样本进行预测，并输出第一分类器、第二分类器、第三分类器对所述待测手写体数字样本的预测结果；

比较所述第一分类器、第二分类器、第三分类器对所述待测手写体数字样本的预测结果，若至少2个分类器得出的是相同的预测结果，则判定所述待测手写体数字样本属于该预测结果的类别，否则，判定所述待测手写体数字样本属于第二分类器输出的预测结果的类别；

其中，所述第一分类器、第二分类器和第三分类器的训练，包括：

对神经网络的两个隐藏层进行逐层预训练，分别得到原始输入层和第一隐藏层之间的权重参数和偏置参数第一隐藏层与第二隐藏层之间的权重参数和偏置参数

根据所述和得到第一隐藏层的输出特征表示，根据所述和以及第一隐藏层的输出特征表示得到第二隐藏层的输出特征表示；

利用优化算法分别对所述第一隐藏层的输出特征表示、第二隐藏层的输出特征表示进行优化得到第一隐藏层与分类器层之间的权重参数和偏置参数第二隐藏层与分类器层之间的权重参数和偏置参数

分别将作为所述神经网络原始输入层和第一隐藏层之间、第一隐藏层和分类器层之间的初始化参数，然后使用反向传播算法结合优化算法得到第一分类器；

分别将作为所述神经网络原始输入层与第一隐藏层、第一隐藏层与第二隐藏层、第二隐藏层与分类器层之间的初始化参数，然后使用反向传播算法结合优化算法得到第二分类器；

将所述第一隐藏层的输出特征表示与所述第二隐藏层的输出特征表示按列链接在一起得到融合特征，根据所述融合特征训练出第三分类器；

所述对神经网络的两个隐藏层进行逐层预训练包括：

将无标签的训练样本集作为输入，得到第一代价函数：

J(W,b)=[1mΣi=1m(12||hW,b(x(i))-x(i)||2)]+λ2Σl=1nl-1Σi=1slΣj=1sl+1(Wji(1))2+βΣj=1s2KL(ρ||ρ^j)]]>

其中，KL表示KL散度函数，ρ和之间的符号||为运算符号，x⁽ⁱ⁾∈R^d，m表示训练样本的个数，d表示训练样本的维数，h_W,b(x⁽ⁱ⁾)表示第i个训练样本在输出层的激活值，λ表示权重衰减系数，n_l表示网络的层数，s_l表示第l层网络神经元的个数，表示第l层网络第i个神经元和第l+1层网络第j个神经元之间的权重，β表示控制稀疏性惩罚因子的权重，ρ表示稀疏性参数，表示ρ的拟合分布，是第j个神经元在m个训练样本上的平均输出值，表示第i层第j个神经元的输出，W表示权重参数，b表示偏置参数；

通过优化算法最小化所述第一代价函数，完成第一隐藏层的训练，得到原始输入层和第一隐藏层之间的权重参数和偏置参数

对所述无标签的训练样本集执行公式得到集合并将其作为输入，得到第二代价函数：

J(W,b)=[1mΣi=1m(12||hW,b(hw11,b11(x(i)))-hw11,b11(x(i))||2)]+λ2Σl=1nl-1Σi=1slΣj=1sl+1(Wji(1))2+βΣj=1s2KL(ρ||ρ^j);]]>

通过优化算法最小化所述第二代价函数，完成第二隐藏层的训练，得到第一隐藏层与第二隐藏层之间的权重参数和偏置参数