[发明专利]一种应用于微波器件的新型深层神经网络自动建模方法

权利要求书

1.一种应用于微波器件的新型深层神经网络自动建模方法，其特征在于：

步骤1：根据实际的微波建模问题，确定深层神经网络模型中输入变量x和输出变量y的数目，构建混合型深层神经网络结构，所述的混合型深层神经网络结构包含1个输入层，L个Batch Normalization(BN)层，L个Sigmoid隐藏层(L≥3)和1个输出层，其中每个Sigmoid隐藏层前均连接一个BN层，该BN层相当于一个归一化器，用于对其后连接的Sigmoid隐藏层的输入数值进行归一化处理，每个BN层和Sigmoid隐藏层中神经元的数目是根据建模问题的难易程度预先确定的，且在训练过程中固定不变，其数量范围在50到150之间；

步骤2：初始化计数k＝1，通过测量或者仿真，获取建模所需的训练数据和验证数据，分别用于深层神经网络的训练和验证；

步骤3：k＝k+1，初始化深层神经网络的权重参数，采用结合BN层和Sigmoid隐藏层的混合型神经网络反向传播算法，分别输入训练数据和验证数据对深层神经网络进行训练和验证，得到当前阶段(即第k个阶段)神经网络的训练误差和验证误差

步骤4：采用自适应算法确定深层神经网络中BN层和Sigmoid隐藏层的层数：

如果系统训练过程中，当前深层神经网络的训练误差大于用户期望的测试误差阈值E_d，则在原有深层神经网络结构中增加一个BN层和一个Sigmoid隐藏层，然后返回步骤3；

如果当前深层神经网络的训练误差小于等于用户期望的测试误差阈值E_d，但测试误差大于用户期望的测试误差阈值E_d，增加训练数据，然后返回步骤3；

如果当前深层神经网络的训练误差小于等于用户期望的测试误差阈值E_d，且测试误差小于等于用户期望的测试误差阈值E_d，训练结束；

步骤5：得到模型，训练好的深层神经网络模型可代替原始器件进行后续电路或系统的仿真与设计。

2.根据权利要求1所述的一种应用于微波器件的新型深层神经网络自动建模方法，其特征在于：

所述的混合型深层神经网络结构中第l个BN层的第i个神经元输出第l个Sigmoid隐藏层的第i个神经元输出以及输出层的第i个神经元输出y_i分别为

其中n表示输入变量的个数，N_l-1表示第l-1个Sigmoid隐藏层神经元的个数(l＝2,3,…,L)，f(·)表示Sigmoid激活函数，表示深层神经网络第l个Sigmoid隐藏层中第j个神经元与第l+1个BN层中第i个神经元之间的权值，表示深层神经网络第l个Sigmoid隐藏层中第j个神经元的偏差，和分别表示第l个BN层中i个神经元输出的缩放量和平移量，和分别表示通过所有训练数据计算得到的第l个BN层中第i个神经元输出的期望值和方差。

3.根据权利要求1所述的一种应用于微波器件的新型深层神经网络自动建模方法，其特征在于：所述的结合BN层和Sigmoid隐藏层的混合型神经网络反向传播算法中，误差函数相对于神经网络的第i个输出y_i的局部梯度以及误差函数相对于第l个BN层中第i个神经元的局部梯度的计算公式分别为

其中，y_i表示深层神经网络对训练数据x的第i个输出的预测值，d_i表示训练数据中x对应的第i个输出的实际值，N_l表示第l个Sigmoid隐藏层神经元的个数(l＝1,2,…,L-1)。