[发明专利]一种复合神经网络模型及其建模方法

权利要求书

1.一种复合神经网络模型，其特征在于，包括：一个全连接稀疏建模模块、一个输入映射单层感知器层、一个字典学习单层感知器层以及一个反馈通路模块；

所述全连接稀疏建模模块与普通Hopfield神经网络结构相同，用于在系统的每一轮迭代中完成单一样本的稀疏建模，工作过程中需要接受来自输入映射感知器层的外输入，该模块收敛后的最终结果将提供给字典学习感知器层作为字典学习的依据；在该模块工作过程中，需要与反馈通路模块互相作用以提高建模的稀疏质量；

所述输入映射单层感知器层用于生成全连接稀疏建模模块所需的持续外输入，需要接收原始样本的输入并与稀疏字典作为感知器层的连接权值共同生成全连接建模层所需的输入，稀疏字典连接权值需要随时与字典学习单层感知器层保持一致；

所述字典学习单层感知器层用于实现稀疏字典的学习和优化，字典学习单层感知器层连接系数矩阵对应稀疏建模字典，需要接收全连接稀疏建模层对每个样本迭代收敛后的输出信号，在输出端与期望输出信号作比对，通过BP方式修正系数矩阵(即稀疏建模字典)实现字典学习，并同步影响输入映射感知器层的权值矩阵；

所述反馈通路模块用于辅助全连接稀疏建模模块、提高建模的稀疏质量，在全连接稀疏建模模块的工作过程中持续接收稀疏建模模块的输出，并将反馈结果输出至稀疏建模模块的输入端，调节全连接稀疏建模模块的网络行为；在这一模块中，使用不同的反馈结果计算方式将实现基于不同约束的稀疏建模。

2.根据权利要求1所述的一种复合神经网络模型的建模方法，其特征在于，包括以下步骤：

步骤1.初始化；

所述步骤1进一步包括：

步骤101数据能量归一化：为了保证不同数据样本间的能量差异不会使稀疏建模结果失真，每帧数据都必须进行能量归一化处理，即系数向量除以所有采样点平方和的平方根，能量差异在重构过程中可以通过系数补偿加以恢复；

步骤102字典权值初始化：从理论上讲，随机初始化的字典最终也可以收敛至全局最优，然而较优的初始字典将能使系统更快收敛，因此可以使用训练样本集中相关度最小的若干个，也可以使用其他字典训练方式学习得到的字典作为初始状态；

步骤103连接与反馈权值和激活函数设置：设置复合神经网络的连接权值、反馈权值和激活函数；

步骤2.样本稀疏建模，该部分针对每个样本独立进行迭代以实现求解，不同样本之间互不干扰；具体的，迭代流程包括以下几个子步骤：

步骤201输入映射：样本输入全连接层的下半部分，与所有字典原子作内积后作为外输入，在整个过程中保持不变；

步骤202外输入与反馈量求和：将固定外输入与反馈量加和作为下一步的输入，第一轮迭代过程中反馈量为0；

步骤203Hopfield层输出更新：使用异步方式更新每一个神经元的输出，作为当前的稀疏建模结果；

步骤204收敛性判定：若满足事先设定的收敛条件(稀疏度及误差，满足要求)，则退出迭代，进入步骤206；否则进入步骤205；

步骤205计算反馈量：使用反馈通路计算每个神经元对应的反馈量，而后返回步骤202.

步骤206结束迭代：结果收敛，对字典学习层输出该数据样本的稀疏建模结果；

步骤3字典学习，在完成了样本集的稀疏建模后，如果需要进行字典学习则进入此步骤；该步骤包含以下子步骤：

步骤301设定字典学习率：一般来说，字典学习率不应设置过大，否则将会导致学习结果不收敛；

步骤302字典学习：使用样本集的稀疏建模结果，基于梯度下降法对每一个字典原子进行调整；

步骤303收敛性判定：如果字典对样本集整体的建模稀疏度及误差达到预设水平，则整个学习过程结束；否则返回步骤2，重新进行一轮稀疏建模及字典学习流程。

3.根据权利要求2所述的方法，其特征在于：所述步骤103中设置复合神经网络的权值和激活函数：

若降低重构误差是网络模型运算的主要目的之一，其外输入和全连接稀疏建模模块的连接权值就需要依照以下方式设置：

其中T_jk表示神经元j，k之间的连接权值(当j＝k时即为自反馈权值)，I_j表示神经元j的外输入；T_jk即为字典原子d_j、d_k内积的负值，I_j为样本y与字典原子d_j的内积；

网络的自反馈权值需要根据求解模型使用的稀疏约束项决定，情况有如下两种：

a)对l₁范数约束项，自反馈权值应设置为T_jj＝-η；

b)对于SPI稀疏约束项：

其反馈参数则为

式中μ_j、ν_j分别为系数向量a中系数绝对值大于a_j及小于a_j的个数；

全连接稀疏建模层一个可行的激活函数可以设置为：

这种权值和激活函数设置单独应用于权利要求1所述的全连接稀疏建模模块或普通的Hopfield神经网络时，可以作为独立的稀疏建模算法加以使用。