[发明专利]一种计算机智能识别的深层神经网络结构设计方法

说明书

一种计算机智能识别的深层神经网络结构设计方法，对于图像而言，由于相邻像素间的相关性，这就使得可以使用更少的数据表示同一个事物，降低数据维度。选定网络初始层数；输入层神经元个数为训练样本维数；是否需要归一化；训练样本做主成分分析确定第一个隐含层神经元个数；确定第二层隐含层神经元个数；训练网络，测评网络结构；结果不理想时增加一个隐含层，将上一层降维后的矩阵经过非线性变换函数作用后做主成分分析确定该隐含层神经元个数并训练网络，重复试验，直到取得良好效果。本发明解决了深层神经网络中结构设计的随机性、盲目性和不稳定性，大大提高了深层神经网络训练的速度和学习能力，为深层神经网络的发展奠定基础。

技术领域

本发明属于机器学习中的深度学习部分。具体内容是应用在计算机视觉和语音识别领域中深层神经网络的结构设计方法。

背景技术

深度学习是机器学习领域一个新的研究方向，近年来在语音识别、计算机视觉等多类应用中取得突破性的进展。其动机在于建立模型模拟人类大脑的神经连接结构，在处理图像、声音和文本这些信号时，通过多个变换阶段分层对数据特征进行描述，进而给出数据的解释。深度学习之所以被称为“深度”，是相对支持向量机(supportvector machine，SVM)、提升方法(boosting)、最大熵方法等“浅层学习”方法而言的，深度学习所学到的模型中，非线性操作的层级数更多。浅层学习依靠人工经验抽取样本特征，网络模型学习后获得的是没有层次结构的单层特征；而深度学习通过对原始信号进行逐层特征变换，将样本在原空间的特征表示变换到新的特征空间，自动地学习得到层次化的特征表示，从而更有利于分类或特征的可视化。

深度学习可以完成需要高度抽象特征的人工智能任务，如语音识别、图像识别和检索、自然语言理解等。深层模型是包含多个隐含层的人工神经网络，多层非线性结构使其具备强大的特征表达能力和对复杂任务建模能力。训练深层模型是长期以来的难题，近年来以层次化、逐层初始化为代表的一系列方法的提出给训练深层模型带来了希望，并在多个应用领域获得了成功。深度学习是目前最接近人脑的智能学习方法，深度学习引爆的这场革命，将人工智能带上了一个新的台阶，将对一大批产品和服务产生深远影响。深度学习尝试解决人工智能中抽象认知的难题，从理论分析和应用方面都获得了很大的成功。

计算机视觉和语音识别领域中深层神经网络的结构设计一个非常重要并且一直未能得到很好解决的问题。现有应用在计算机视觉和语音识别中的深层神经网络结构一般由实验者经验和实验结果衡量，实验结果难以估计，需要不断地通过实验来验证，浪费了大量的时间和资源。这样设计的深层神经网络结构有很大的随机性和盲目性，为网络模型的构建造成很大的困难，结构不同对实验结果的影响也很难预测。可以说，目前在计算机视觉和语音识别中的深层神经网络模型还没有一个统一且准确的确定结构的方法，这就使得深层神经网络模型只对特定的图片和语音数据集以及特定的环境有很好的学习能力，但是这样的网络模型并不能很好的推广到所有情况。

目前，深度学习中应用在计算机视觉和语音识别领域的主要深层神经网络模型有：

1.自动编码器(AutoEncoder，AE)，主要利用人工神经网络的特点，人工神经网络(ANN)本身就是具有层次结构的系统。如果给定一个神经网络，假设其输出与输入是相同的，然后训练调整其参数，得到每一层中的权重。自然地，就得到了输入I的几种不同表示(每一层代表一种表示)，这些表示就是特征。自动编码器就是一种尽可能复现输入信号的神经网络。为了实现这种复现，自动编码器就必须捕捉可以代表输入数据的最重要的因素。

2.深信度神经网络(Deep BeliefNetworks，DBNs)，DBNs是一个概率生成模型，与传统的判别模型的神经网络相对，生成模型是建立一个观察数据和标签之间的联合分布，对P(Observation|Label)和P(Label|Observation)都做了评估。DBNs由多个限制玻尔兹曼机(Restricted Boltzmann Machines)层组成。这些网络被“限制”为一个可视层和一个隐层，层间存在连接，但层内的单元间不存在连接。隐含层单元被训练去捕捉在可视层表现出来的高阶数据的相关性。