[发明专利]一种快速灵活全纯嵌入式神经网络广域寻优训练方法

说明书

本发明提供了一种快速灵活全纯嵌入式神经网络广域寻优训练方法，具体步骤为：步骤1，确定需要求解的微分方程，在定义域内采样获得训练数据和测试数据；步骤2，构建神经网络模型，嵌入基于分段有理逼近的激活函数层；步骤3，调整超参数，训练神经网络模型；步骤4，进行模型预测，预测结果若满足要求，则模型训练成功，结束训练；否则返回步骤3。本发明使用分段有理逼近方法构造的激活函数，在训练时间和训练精度上都要优于一般的激活函数，为快速准确地解决实际工程计算任务涉及到的高维偏微分方程问题提供了强有力的解决方案。

技术领域

本发明涉及到信息科学和工程计算技术领域，具体的说是一种快速灵活全纯嵌入式神经网络广域寻优训练方法。

背景技术

偏微分方程被广泛地应用到自然科学的各个领域和工程应用，比如油气勘探、桥梁设计、机械制造。但在一些复杂的场景下，很难有解析解。所以更加常用的是数值方法，比如有限差分、有限元、有限体等传统方法。但是传统方法需要将区域剖分成若干网格单元来近似偏微分方程的求解空间，当维度非常高时网格数量巨大，为此计算代价非常大。而使用神经网络(Neural Networks， NN)求解偏微分方程，不必进行网格划分而是在空间内进行随机采样作为模型的输入，从而避免了维度灾难。

在过去的十年中，深度神经网络(DNNs)已经发展成为机器学习的基础技术和关键工具。研究发现，在图像分类、语音识别、图像分割和医学成像等许多实际应用中，它们的性能优于传统的统计学习技术(如核方法、支持向量机、随机森林)。

神经网络是由大量的、简单的处理单元(称为神经元)广泛地互相连接而形成的复杂网络系统，它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学习系统。神经网络具有如下四个基本特征：

(i).非线性：非线性关系是自然界的普遍特性。大脑的智慧就是一种非线性现象。人工神经元处于激活或抑制二种不同的状态，这种行为在数学上表现为一种非线性关系。具有阈值的神经元构成的网络具有更好的性能，可以提高容错性和存储容量。

(ii).非局限性：一个神经网络通常由多个神经元广泛连接而成。一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互连接所决定。通过单元间的大量连接模拟大脑的非局限性。联想记忆是非局限性的典型例子。

(iii).非常定性：人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息可以有各种变化，而且在处理信息的同时，非线性动力系统本身也在不断变化。经常采用迭代过程描述动态或时变系统的演化过程。

(iv).非凸性：一个系统的演化方向，在一定条件下将取决于某个特定的状态函数。例如能量函数，它的极值相应于系统比较稳定的状态。非凸性是指这种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。

激活函数对于人工神经网络模型在学习和理解复杂的变化规律时(通常是高度非线性的)具有十分重要的作用。它们将非线性特性引入到网络中。在神经元中，输入通过加权、求和、被作用在一个函数上，这个函数就是激活函数。激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。

激活函数的选择现在还没有许多明确的指导性理论原则，通常的选择有 ReLu函数、Sigmoid函数和双曲正切函数。现有的激活函数往往是上面三种函数之一或者这三种函数的变种(比如带一到两个可训练的参数)。这三种激活函数的优缺点在于：