[发明专利]一种应用于微波器件的新型深层神经网络自动建模方法

说明书

本发明涉及一种应用于微波器件的新型深层神经网络自动建模方法，属于微波器件建模领域，用于解决现有的浅层神经网络建模方法不能满足微波器件建模领域面临的模型维度高、工作范围大、可靠性高等新需求的问题。本发明具体提出了一种新型的包含Batch Normalization(BN，批量归一化)层和Sigmoid隐藏层的混合型深层神经网络结构及其训练方法，能够解决由于神经网络层数增多而引起的梯度消失和训练被阻止的问题；并采用自适应算法自动确定深层神经网络中BN层和Sigmoid隐藏层的层数，实现训练过程自动化。采用本发明得到的深层神经网络模型能够精确表示微波器件复杂、连续、高度非线性的器件特性，计算速度快，能有效代替原始器件进行后续电路或系统的仿真与设计。

技术领域

本发明涉及微波器件建模领域，尤其涉及人工神经网络技术在微波器件建模领域的应用。

背景技术

随着通讯技术的快速发展，微波电路的设计越来越依赖于计算机辅助设计技术，精确高效的微波器件模型在微波电路仿真和设计中至关重要。基于人工神经网络的建模方法被公认为是一种代替传统建模技术的有效方法^[1]。神经网络模型不但能精确表示微波器件的非线性输入输出关系，而且从输入到输出的计算速度极快，能大大缩短微波电路或系统的仿真周期。

然而近几年随着微波技术的不断发展，电路规模、性能指标和工作频段不断提高，新工艺、新材料、新结构的电子器件不断涌现，现有的浅层神经网络建模方法已不能满足微波器件建模领域面临的模型维度高、工作范围大、可靠性高等新需求。目前，国内外科研人员普遍采用分解建模法来解决这类复杂的建模问题。分解建模法主要包括对器件复杂结构的分解^[2]、对模型输入变量的分解^[3]和对建模区域的分解^[4]，生成多个子模型，从而把单个复杂建模问题转化成多个简单建模问题。但是，分解建模法具有一定的应用局限性，采用该方法建立的神经网络模型普遍无法有效地保证各个子模型之间的数值连续和导数连续，导致模型在后续的电路设计和仿真优化过程中的可靠性降低。因此，仍需要开发新的神经网络建模方法来解决这类复杂的建模问题。

近年来，在浅层神经网络的基础上，含有更多(三个及三个以上)隐藏层的深层神经网络和深度学习概念已经逐渐引起学术界和工业界的关注。深层神经网络被认为在大数据、复杂关系建模等方面非常有效^[5]，已经在许多具有挑战性的领域获得了成功，例如图像识别^[6]、语音识别^[7]、语言处理^[8]等。实验表明^[9]，在具有相同数目的神经网络训练参数的情况下，深层神经网络比浅层神经网络具有更高的精确度和更好的预测性能，更适合处理具有高复杂度的非线性建模问题。因此，深层神经网络技术为解决微波器件建模领域高维度、大范围、高度非线性的微波器件建模问题提供了一种可行性方案。

本发明结合深层神经网络的优点和微波器件建模问题的特点，提出一种新型的包含Batch Normalization(BN，批量归一化)层和Sigmoid隐藏层的混合型深层神经网络结构及其训练方法，并采用自适应算法自动确定深层神经网络中BN层和Sigmoid隐藏层的层数，实现训练过程自动化。训练好的深层神经网络模型精度高，计算速度快，能有效代替原始器件进行后续电路或系统的仿真与设计。

参考文献：

[1]Q.J.Zhang,K.C.Kupta.Neural networks for RF and microwave design[M].Norwood,MA:Artech House,2000.