[发明专利]一种基于深度Q学习策略的手写数字识别方法

说明书

一种基于深度Q学习策略的手写数字识别方法属于人工智能和模式识别领域，针对手写数字标准对象MNIST数据库的识别精度低的问题。首先，利用深度自编码器(Deep Auto‑Encoder，DAE)对原始信号进行抽象特征提取，Q学习算法将DAE对原始信号的编码特征作为当前状态。然后，过对当前状态进行分类识别得到一个奖励值，并将奖励值返回给Q学习算法以便进行迭代更新。通过最大化奖励值来完成手写数字的高精确识别。本发明将具有感知能力的深度学习和具有决策能力的强化学习结合在一起，通过深度自编码器与Q学习算法相结合构成Q深度信念网络(Q‑DBN)，提高了识别精度，同时缩短了识别时间。

技术领域

本发明属于人工智能和模式识别领域，涉及一种基于深度Q学习策略的手写数字识别方法，是一种深度学习和强化学习相结合的创新性应用技术。

背景技术

近年来，随着人工智能技术和模式识别技术的不断发展，手写数字识别被广泛的应用于邮政邮件分拣、医疗数据处理以及其他计算视觉等领域。由于带有大量不同的手写点和笔迹类别，手写数字识别是一项具有挑战性的工作。现阶段，有很多模式识别方法被应用于手写数字识别中，例如基于深度学习模型的分类方法、人工神经网络方法以及支持向量机分类器等。在这些现有的识别方法中，基于深度学习模型的深度信念网络具有相对较高的识别精度，因为深度学习模型具有像人脑分层处理信息一样的数据处理能力。

手写数字识别要求识别方法同时具有较强的特征提取能力和识别决策能力。尽管深度信念网络具有较强的分层特征提取能力，但是其识别精度仍然无法满足人们的要求，并且识别时间较长。为了获得决策能力较强的手写数字识别方法，人们开始研究机器人理论中的强化学习，并模仿具有较强决策能力的AlphaGo。通过研究人们发现，AlphaGo采用的学习方法主要是无监督的深层循环学习，即“自己跟自己学习”，其有监督学习部分相对较少，所以强化学习也无法独立完成手写数字高精度的识别任务。从宏观角度看，在高级人工智能领域里，特征提取能力和识别决策能力都是衡量一个人工智能体的重要指标。然而，直接通过学习高维输入(如海量的手写数字图像)去控制智能体，对强化学习来说是一个长期的挑战，AlphaGo同样也面临此类问题。众所周知，强化学习在决策规划的理论和算法方面已经取得了显著的成果。但是，绝大部分成功的强化学习应用案例均依赖于人工选取数据特征，而学习的效果严重地取决于特征选取的质量和准确度。

深度Q学习策略是一种基于深度强化学习思想(如图1所示)建立起来的分类识别模型，其结合了深度学习强大的特征提取能力和强化学习强大的决策能力。基于现有手写数字识别方法存在的不足以及识别任务的特点得知，深度Q学习策略能够充分地满足了手写数字识别对识别方法的要求，并且能够快速完成高精度的识别任务。因此，深度Q学习策略是一种高效的手写数字识别技术。

发明内容

1.本发明需要且能够解决的技术问题

针对现有模式识别方法难以满足目前人们对手写数字识别精度要求越来越高的问题，本发明结合深度强化学习理论，提出一种基于深度Q学习策略的手写数字识别方法。该方法能够实现对手写数字的快速且高精度的识别。

2.本发明具体的技术方案

一种基于深度强化学习策略的手写数字识别方法，其特征在于包括以下步骤：

步骤A：根据深度学习模型分层特征学习的特点，顺序叠加若干个受限玻尔兹曼机(RBM)构造深度自编码器(DAE)，并利用DAE对手写数字图像进行分层抽象与关键特征提取；其中，DAE的特征学习是通过逐层训练每个RBM来完成的。

步骤B：计算DAE的最后一个RBM隐含层状态与原始输入图像数据的重构误差Re-Error，并设置基于重构误差的特征提取衡量标准；然后所设置的特征提取衡量标准确定最终提取到的特征。