[发明专利]一种基于带变异粒子群算法的可变拓扑结构的深度神经网络图像识别方法

权利要求书

1.一种基于粒子群算法的可变拓扑结构的深度神经网络的图像识别方法，其特征在于，包括下列步骤：

步骤1图像数据集的预处理，首先将图像数据集划分为训练集、测试集，然后对其进行归一化处理，并对标签数据进行one-hot编码；

步骤2按照图片数据的特征将深度神经网络结构按照粒子群算法所需方式编码，并进行初始化；

步骤3初步训练网络并计算出各个神经网络在测试集上的准确率；

所述步骤3中包含下列步骤：

步骤3.1：使用正态分布初始化方法对深度神经网络的权值和阈值进行初始化；

步骤3.2：根据式(2)、(3)计算出神经网络的输出：

Z^[l]＝W^[l]·A^[l-1]+b^[l]                     (2)

A^[l]＝g^[l](Z^[l])                       (3)

其中上标l表示神经网络的第l层，W^[l]表示第l层的权值，b^[l]表示第l层的偏置值，A^[l-1]表示上一层网络的输出，Z^[l]表示第l层的输出，g^[l]表示第l层的激活函数，A^[l]表示第l层激活函数的输出；

其中第l-1层的激活函数采用Relu激活函数，如式(4)所示：其中x表示输入该函数的值，f(x)表示Relu激活函数；

其中x表示输入该函数的值，f(x)表示Relu激活函数，第l层采用Softmax激活函数，如式(5)所示:

其中j表示当前层第j个节点，K表示网络在当前层的总数，z^j表示网络当前层第j个节点的值，e为一固定值，z_k表示网络当前层第k个节点的值，σ(z)_j表示网络在当前层的第j个Softmax值；

步骤3.3：通过交叉熵函数即式(6)计算出网络的损失；

其中N表示样本总数，i表示第i个样本，y⁽ⁱ⁾表示第i个样本的实际输出，a^[L](i)表示预测输出，L为N个样本的损失；

步骤3.4：神经网络优化方法采用反向传播算法，根据如下公式优化网络的权值和偏置值；

dZ^[l]＝dA^[l]*g^[l]′(Z^[l])                     (7)

dA^[l-1]＝W^[l]T·dZ^[l]                      (10)

其中d表示求导，为输入，dW^[l]、db^[l]、dA^[l-1]为输出，np.sum(dZ^[l],axis＝1,keep dim s＝True)表示对矩阵dZ^l沿水平方向求和，根据式(7)、(8)、(9)、(10)循环依次更新各层权值；

步骤3.5：在测试集上计算准确率p_pre；

步骤4找出个体最优的特征数和全局最优的特征数，并通过微粒群算法优化深度神经网络每层所需的特征数，使用错误率作为适应度函数值；

步骤5将得到的最优结构通过反向传播算法，使用梯度下降法在训练集上训练，通过测试集测试，得到最终结果。

2.根据权利要求1所述的基于粒子群算法的可变拓扑结构的深度神经网络的图像识别方法，其特征在于，所述步骤1中包含下列步骤：

步骤1.1将图像数据集划分为训练集、测试集；

步骤1.2根据式(1)，对样本数据进行归一化处理；

其中Max为样本数据的最大值，Min为样本数据的最小值，x为样本数据，x_{normalization}为归一化后的样本数据；

步骤1.3对标签数据进行one-hot编码。