[发明专利]构建系统模型的方法和装置

权利要求书

1.一种构建系统模型的方法，所述系统包括多种类型的设备，每种类型的设备分别包括多个设备，其特征在于，所述方法包括：

构建前馈神经网络，所述前馈神经网络包括输入层、多个隐藏层和输出层，所述输入层中的每个神经元对应为每个设备的参数，所述输出层的输出对应为所述系统的输出，所述输入层根据设备的类型划分为多个设备区，与所述输入层直接连接的隐藏层划分为多个隐藏区，所述多个隐藏区与所述多个设备区一一对应，每个设备区中的神经元仅与所对应的隐藏区中的神经元全连接；

对所述前馈神经网络进行训练，得到所述系统的系统模型。

2.根据权利要求1所述的方法，其特征在于，在所述前馈神经网络中，每个设备区中的神经元仅与所对应的隐藏区中的神经元连接。

3.根据权利要求1所述的方法，其特征在于，在所述前馈神经网络中，相邻的两个隐藏层的神经元全连接，且所述输出层和与所述输出层直接连接的隐藏层的神经元全连接。

4.根据权利要求1所述的方法，其特征在于，所述对所述前馈神经网络进行训练，得到所述系统的系统模型的步骤包括：

设置所述前馈神经网络中每个层的目标函数，其中，与所述输入层直接连接的隐藏层的目标函数包括该隐藏层中各个连接的权重的L1范数；

根据所述目标函数进行迭代计算，得到各个连接的权重，其中，在迭代过程中，当与所述输入层直接连接的隐藏层中的一连接的权重的绝对值小于预定的值时，设定该连接的权重为零。

5.根据权利要求4所述的方法，其特征在于，所述根据所述目标函数进行迭代计算，得到各个连接的权重的步骤包括：

根据所述目标函数确定所述输出层的目标函数对各个连接的权重的偏导数为：

$\frac{dE\left(i\right)}{{\mathrm{dW}}_{1j}^L}={\mathrm{\δ}}_1^L{h}_j^{L-1}$

${\mathrm{\δ}}_1^L=-\left(d\right(i)-y(i\left)\right)$

各个隐藏层的目标函数对各个连接的权重的偏导数为：

$\frac{dE\left(i\right)}{{\mathrm{dW}}_{ij}^l}={\mathrm{\δ}}_i^l{h}_j^{l-1}$

${\mathrm{\δ}}_i^l=\underset{k=1}{\overset{s_{l+1}}{\Σ}}{W}_{ki}^{l+1}{\mathrm{\δ}}_k^{l+1}{f}^{\′}\left(\underset{j=1}{\overset{s_{l-1}}{\Σ}}{W}_{ij}^l{h}_j^{l-1}\right)$

根据所确定的各个连接的权重的偏导数，用误差反向传播算法进行迭代计算，得到各个连接的权重，

其中，L为所述前馈神经网络所包含的总层数；E(i)为第i个样本的目标函数；为与所述输出层直接连接的隐藏层的第j个神经元到所述输出层的第1个神经元的连接的权重；为与所述输出层直接连接的隐藏层的第j个神经元的输出；d(i)为与样本中的输入x(i)对应的、经过所述前馈神经网络的预测值；y(i)为样本中与输入x(i)对应的输出；为d(i)与y(i)的残差；f(.)为激活函数；f′(.)为所述激活函数的导数；为第l-1层的第j个神经元到第l层的第i个神经元的连接的权重；为第l层的第i个神经元到第l+1层的第k个神经元的连接的权重；为第l-1层的第j个神经元的输出；为从输出层误差反向传导到第l层的残差，为从输出层误差反向传导到第l+1层的残差，s_l+1为第l+1层的神经元个数，s_l-1为第l-1层的神经元个数。