[发明专利]一种深度记忆卷积神经网络的装置及其构建方法

说明书

本发明涉及基于学习的神经网络领域，尤其是涉及一种深度记忆卷积神经网络的结构及其构建方法。本发明网络的结构包括五卷积层的含聚类降维卷积神经网络结构；深度记忆神经网络结构；BP网络结构三部分；本发明还涉及网络结构的构建方法。本发明能够在一定程度上克服有限样本和计算单元情况下对复杂函数的表示能力的缺点，提高现有卷积神经网络的效率。

技术领域

本发明涉及基于学习的神经网络领域，尤其是涉及一种深度记忆卷积神经网络的装置及其构建方法。

背景技术

深度学习的概念源于人工神经网络的研究，最早的深度学习结构之一就是多层感知器MLP。深度学习通过组合低层特征形成更加抽象的高层表示来发现数据的分布式特征。BP网络作为传统训练多层网络的典型算法，在大规模输入问题上存在缺陷。深度结构非凸目标代价函数中普遍存在的局部最小是训练困难的主要来源。参考文献(Hinton G E,Osindero S,Teh Y W.A fast learning algorithm for deep belief nets[J].Neuralcomputation,2006,18(7):1527-1554.)提出基于深度信念网络(DBN)，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。Lecun等人提出的卷积神经网络(CNN)是第一个真正的多层结构学习算法，它利用空间相对关系减少参数数目以提高BP训练性能(LeCun Y,Bengio Y,Hinton G.Deep learning[J].Nature,2015,521(7553):436-444.)。当前多数分类、回归等学习方法为浅层结构算法，其局限性在于有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受到一定制约。深度学习可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示，并展现了强大的从少数样本集中学习数据集本质特征的能力。

卷积神经网络存在训练过程收敛慢的问题，而且卷积运算非常耗时，目前有针对提高运算效率的一些方法如：设计新的卷积网络训练策略，使用GPU加速卷积运算过程，使用并行计算提高网络训练和测试速度，采用分布式计算提高网络训练和测试速度，硬件化卷积神经网络等(谢剑斌,兴军亮,张立宁,等.视觉机器学习20讲[M].北京:清华大学出版社,2015:228-239.)。

发明内容

本发明的目的是提供一种深度记忆卷积神经网络的装置及其构建方法，从一定程度上克服了有限样本和计算单元情况下对复杂函数的表示能力的缺点，提高现有卷积神经网络的运算效率。

本发明的技术方案：

一种深度记忆卷积神经网络的装置，包括五卷积层的含聚类降维卷积神经网络结构；深度记忆神经网络结构；BP网络结构三部分：

第一部分，五卷积层的含聚类降维卷积神经网络结构；

1)第一卷积层选择N₁个卷积算子，每个卷积算子为一个大小s₁×t₁的卷积核，s₁为卷积核的行数，t₁为卷积核的列数；所述的卷积核由多种直线和多种圆盘和多种圆环组成，用以识别图像子图单元的一级形状特征；

2)第一卷积层卷积过程表达式为：

其中为图像P⁰在像素[(i-1)Δ₁+1+x,(j-1)Δ₁+1+y]处的灰度值，表示第n₁个卷积算子在位置[x,y]处的权值，为卷积后的图像P¹在像素[i,j]处的灰度值，Δ₁为卷积移动步长，n₁为卷积算子的序号，范围为1≤n₁≤N₁；

3)第一规则层的规则化处理过程为：