[发明专利]一种深度记忆卷积神经网络的装置及其构建方法

摘要

本发明涉及基于学习的神经网络领域，尤其是涉及一种深度记忆卷积神经网络的结构及其构建方法。本发明网络的结构包括五卷积层的含聚类降维卷积神经网络结构；深度记忆神经网络结构；BP网络结构三部分；本发明还涉及网络结构的构建方法。本发明能够在一定程度上克服有限样本和计算单元情况下对复杂函数的表示能力的缺点，提高现有卷积神经网络的效率。

主权项

一种深度记忆卷积神经网络的结构，其特征是，包括五卷积层的含聚类降维卷积神经网络结构；深度记忆神经网络结构；BP网络结构三部分：第一部分，五卷积层的含聚类降维卷积神经网络结构；1)第一卷积层选择N1个卷积算子，每个卷积算子为一个大小s1×t1的卷积核，s1为卷积核的行数，t1为卷积核的列数；所述的卷积核由多种直线和多种圆盘和多种圆环组成，用以识别图像子图单元的一级形状特征；2)第一卷积层卷积过程表达式为：Pi,j1,n1=Σx=1s1Σy=1t1P(i-1)Δ1+1+x,(j-1)Δ1+1+y0Qx,yn1---(1),]]>其中为图像P0在像素[(i‑1)△1+1+x,(j‑1)△1+1+y]处的灰度值，表示第n1个卷积算子在位置[x,y]处的权值，为卷积后的图像P1在像素[i,j]处的灰度值，△1为卷积移动步长，n1为卷积算子的序号，范围为1≤n1≤N1；3)第一规则层的规则化处理过程为：Pi,j2,n1=Pi,j1,n1/ωPi,j1,n1≥00Pi,j1,n1<0---(2),]]>其中为规则化后的输出，ω为衰减系数；4)第一池化层的最大池化计算过程为：Pi,j3,n1=Max{P2i-1+u,2j-1+v2,n1,u∈[1,2],v∈[1,2]}---(3),]]>5)第二卷积层选择N2个卷积算子，每个卷积算子为一个大小s2×t2的卷积核，s2为卷积核的行数，t2为卷积核的列数；每个卷积核提取图像子图的一个二级形状特征；6)参考步骤2)、步骤3)、步骤4)计算第二层卷积运算的结果；7)第三卷积层选择N3个卷积算子，每个卷积算子为一个大小s3×t3的卷积核，s3为卷积核的行数，t3为卷积核的列数；每个卷积核提取图像子图的一个三级形状特征；8)参考步骤2)、步骤3)、步骤4)计算第三层卷积运算的结果；9)对步骤8)得到的矩阵进行相似度聚类分析，保持图像第三级特征数量为M1个；10)第四卷积层选择N4个卷积算子，每个卷积算子为一个大小s4×t4的卷积核，s4为卷积核的行数，t4为卷积核的列数；每个卷积核提取图像子图的一个四级形状特征；11)参考步骤2)、步骤3)、步骤4)计算第四层卷积运算的结果；12)对步骤11)得到的矩阵进行相似度聚类分析，保持图像第四级特征数量为M2个；13)第五卷积层选择N5个卷积算子，每个卷积算子为一个大小s5×t5的卷积核，s5为卷积核的行数，t5为卷积核的列数；每个卷积核提取图像子图的一个五级形状特征；14)参考步骤3)、步骤4)、步骤5)计算第五层卷积运算的结果；15)对步骤14)得到的矩阵进行相似度聚类分析，以其矩阵所有元素的和为综合特征，得到M3个不同特征点；16)每层特征点经过信息选择器进行选择，并通过总线集成器产生该含聚类降维卷积神经网络的输出，进入记忆神经网络；第二部分，深度记忆神经网络结构：所述的深度记忆网络模型一个带有D个独立记忆单元的网络结构，模型更新规则为：网络输入x(t)与记忆单元各记忆值进行对比，其最接近输入的单元k处的误差为：δk(t)＝Min{|Ci(t)‑x(t)|,i＝1,2,…,D}   (4)，当δk(t)小于或等于网络识别阀值ε时，说明网络成功识别为第k类信息，此时每个记忆单元的记忆系数βi(t)和记忆信息Ci(t)的选择性记忆更新规则为：其中α为遗忘系数   (5)，Ci(t+1)=βi(t)Ci(t),i≠k[Ci(t)+x(t)]/2,i=k---(6),]]>当δk(t)大于网络识别阀值ε时，说明网络识别过程中没有输入类，记忆网络按遗忘规律更新记忆最差的信息，βk(t)即将记忆系数最低的单元k处替换为当前输入信息；此时每个记忆单元的记忆系数βi(t)和记忆信息Ci(t)的选择性记忆更新规则为：βk(t)＝Min{βi(t),i＝1,2,…,D}   (7)，βi(t+1)=(1-α)βi(t),i≠k1,i=k---(8),]]>Ci(t+1)=βi(t)Ci(t),i≠kx(t),i=k---(9),]]>网络输出h(t+1)规则为：h(t+1)＝Ck(t+1)   (10)；第三部分，BP网络结构：采用传统BP网络结构，根据输入和输出参数个数关系确定中间隐层层数，以递减方式设计中间隐层结点的数量；上述五卷积层的含聚类降维卷积神经网络结构、深度记忆神经网络结构和BP网络结构按先后顺序串联连接，五卷积层的含聚类降维卷积神经网络结构的输出与深度记忆神经网络结构的输入相连，深度记忆神经网络结构的输出与BP网络结构的输入相连，实现一种深度记忆卷积神经网络的结构。