[发明专利]基于深度迁移学习的航天器智能故障诊断方法

权利要求书

1.一种基于深度迁移学习的航天器智能故障诊断方法，其特征是，首先，进行智能故障诊断模型框架的搭建，从带有强噪声的遥测数据中提取故障特征，搭建基于深度卷积神经网络的故障诊断模型框架；其次，进一步考虑在轨航天器遥测故障数据样本小的特点，利用地面测试数据和其他航天器在轨数据进行预训练，得到诊断模型的初始网络参数，达到学习其他诊断任务经验的目的；然后，进行智能故障诊断模型参数重调，将学习到的经验扩展到当前诊断任务中，研究基于迁移学习的模型参数重调方法，考虑航天器原始遥测数据未标记的特点，构造基于最大平均差异的代价函数，实现对初始网络参数的重新调整。

2.如权利要求1所述的基于深度迁移学习的航天器智能故障诊断方法，其特征是，具体步骤如下：

第一部分，智能故障诊断模型框架搭建：首先将地面测试数据、其他航天器的在轨数据与当前航天器遥测原始数据分为已标记的源数据库与未标记的目标数据库；然后，将源数据集中的时域数据转换为2D图像实现对数据的预处理，其中数据值的大小与图像像素相关；接着，考虑卷积神经网络能从带噪声的原始数据中有效提取故障特征，搭建基于卷积神经网络的深度神经网络模型框架；最后，基于诊断误差构造交叉熵代价函数，并利用转换后的2D图像对网络模型进行预训练，通过使代价函数最小确定初始网络参数，达到学习其他诊断任务经验的目的；

第二部分，智能故障诊断模型参数重调：首先基于边际分布和条件分布定义源数据集与目标数据集的联合分布适应度，用以描述两个数据集的诊断概率分布差异；在此基础上结合预训练过程使用的交叉熵代价函数，基于最大平均差异方法构造新的代价函数；最后利用源数据库和目标数据库中的数据对诊断模型进行训练，通过使代价函数最小重新调整初始的网络参数，将从地面测试数据和其他航天器的在轨数据学习到的经验，扩展到当前在轨航天器的故障诊断任务中，提高故障数据检测的准确性。

3.如权利要求1所述的基于深度迁移学习的航天器智能故障诊断方法，其特征是，详细步骤如下：

第一步，根据已有数据建立源数据库：将地面测试数据、其他航天器的在轨数据与当前航天器遥测原始数据分为已标记的源数据库与未标记的目标数据库；

第二步，数据预处理：采用将一维时域数据转换为2D图像的方法，实现对数据的预处理，其中数据值的大小与图像像素相关，具体步骤如下：

在一维航天器状态时域信号中依次提取M²个特征点，每个点的特征值定义为F(i),i＝1,…M²，将一维航天器状态时域信号转换成M×M大小的2D图像信号，转换公式为：

式中，round(·)表示round函数，即将括号中的算子四舍五入取整，min(F)和max(F)分别代表该一维航天器状态时域信号的上下界，I(j,k)为计算后的2D图像像素信息，每个点的像素点范围为[0,255]；

第三步，搭建深度神经网络：采用深度卷积网络用来提取每个航天器状态的2D图像中的故障特征，综合考虑故障时与非故障时的特征不同点，采用交叉熵函数训练深度卷积网络，最小预训练网络的权值参数，达到学习诊断任务经验的目的，所述深度卷积网络的输入是N个M×M大小的航天器状态2D图像；

深度卷积神经网络是由卷积层与池化层组成：在卷积层中，采用大小的卷积核对输入数据进行卷积，在卷积之后，采用RELU激活函数对数据进行非线性映射，如式(2)所示

hc_l＝RELU(conv(W_l,x_l)+b_l) (2)

式中，conv表示卷积运算，x_l表示第l个隐藏层的输入，W_l与b_l分别表示第l个隐藏层的权值与偏置，RELU表示RELU激活函数，在每个卷积层之后，采用核大小为2×2的最大池化层来减小特征矩阵的大小；

深度卷积网络的训练目的是减少预测值与实际标签之间的误差，采用softmax函数表示不同样本之间的指数概率，如式(3)所示

式中，m表示样本索引，T表示样本类别的总数，由于深度神经网络以概率分布的形式输出，因此该网络采用基于交叉熵的评判方法，通过刻画网络输出的概率分布y^*与期望概率分布y之间的距离来建立损失函数，如下所示

L(y^*,y)＝-Σ_iy^*(x)logy(x) (4)

式中i表示每一次训练过程批量样本的个数，y^*表示神经网络输出的概率分布，即通过深度神经网络判断出航天器是否发生故障，y代表期望的输出概率分布，即源数据库的样本标签数据，深度神经网络的优化目标是让L(y^*,y)趋近于0；

深度神经网络训练的过程即为网络的权值更新的过程，根据式(4)损失函数，使用反向传播算法对网络的权值进行更新，即：

ω←ω-εg (5)

式中，m表示样本个数，g为损失函数对权值ω梯度，ε为学习率；

首先考虑到传统反向传播算法中权重的更新方向完全依赖当前样本数据计算得到的梯度g如式(6)所示，更新的时候在一定程度上保留之前更新的方向，同时利用当前样本的梯度微调最终的更新方向，即

s←ρ₁s+(1-ρ₁)g (6)

式中s又称为对梯度g的一阶距估计，即对E[g]的近似，ρ₁∈[0,1)为指数衰减速率；

进一步为实现学习率的自适应调整，即对于更新较慢的权重采用较大的ε更新，对于更新较快的权重采用较小的ε更新，因此将之前梯度的平方作为分母对学习率ε进行调整：

其中，ε'为调整后的学习率，δ为防止分母为零的常数，r为对梯度g二阶矩估计，即对E[g²]的近似：

其中ρ₂∈[0,1)为指数衰减速率，为Hadamard乘积；

在此基础上，对梯度g的一阶距与二阶矩估计进行无偏修正，得到：

最后得到基于Adam算法的权重更新公式：

第四步，定义源数据集与目标数据集的联合分布适应度：采用基于联合分布自适应方法的深度迁移学习进行故障诊断：

使用基于联合分布配适的迁移学习方法联合分布配适，利用源域中标记数据为目标域构建准确的分类器，联合分布配适在降低维度的过程中联合配适边缘分布和条件分布，边缘分布自适应MDA有助于提升迁移性能，条件分布自适应CDA在迁移学习过程中匹配源域数据和目标域数据的不同的结构；

在故障诊断任务中，给定一个带有标签的源数据集和一个没有标签的目标数据集x_s＝x_t，y_s＝y_t，P_s(X_s)≠P_t(X_t)，Q_s(Y_s|X_s)≠Q_t(Y_t|X_t)；

1)边缘概率分布：为了最小化再生核希尔伯特空间中两个数据分布之间的距离，用最大平均差异来处理：

其中φ是再生核希尔伯特空间中从χ到Η的非线性映射函数；

2)条件概率分布：由于目标域数据没有被标记，所以目标域的边缘分布Q_t(y_t|x_t)无法被计算，考虑利用目标域数据的伪标签来处理无监督域自适应中的条件分布自适应，借助于带有标签的源数据的预训练模型，初步提供目标数据的伪标签；通过将标记的源数据上训练的一些基分类器应用于未标记的目标数据，预测这些伪标签，利用伪标签估计出边缘分布Q_s(x_s|y_s＝c)，Q_t(x_t|y_t＝c)，假设c∈{1,...,C}，最大平均差异被定义为范围c与条件分布Q_s(x_s|y_s＝c)，Q_t(x_t|y_t＝c)的不匹配度，其公式表示为：

其中是真标签，是伪标签且

在模型优化阶段迭代更新伪标签，以获得当前学习条件下的最优预测精度，通过联合分布配适，获得更准确的目标数据标签，使用标签作为伪目标标签并迭代运行联合分布配适，交替地提高标签质量直到收敛；

通过整合边缘最大平均差异和条件最大平均差异，联合分布配适的正则项表示为：

其中J_s和J_t分别是D_s和D_t的联合分布；

第五步，构造代价函数：在得出联合分布配适的公式之后，选择深度卷积网络作为基本模型建立深度传输网络，以达到在深度学习框架下实现领域自适应的目的，估计的概率分布和真实标签之间的交叉熵函数作为损失函数，在将已经训练好的深度卷积网络模型应用于域适应时，通过将联合分布配适的和正则化项相结合，重新定义了一个新的目标函数，写为：

其中是一个l层的卷积神经网络的参数集合，λ是非负正则化参数，再生核希尔伯特空间中的映射函数是在深度模型中学习到的非线性特征变换，随着层数的增加，卷积神经网络的特征由一般变为特殊，上面的层代表数据中更抽象的特征，但是会导致较大的域差异，将正则项放在判别层前面的隐藏的全连接层上，即φ(x)＝h_l-1(x)，其中h_l-1(·)是第一个(l-1)层通过非线性特征变换得到的非线性映射，联合分布配适正则化项与深度卷积网络模型相结合可以自适应地从数据中学习并生成映射函数φ，无需手动设置参数化核函数；

第六步，诊断模型训练和参数重调：通过最小化式(14)，预训练的卷积神经网络模型转化和调整为目标任务，网络优化采用小批量随机梯度下降算法和反向传播算法，目标函数的网络参数的梯度为：

其中是具有网络参数的(l-1)层输出的偏导数，的公式表示为：

基于联合分布配适的深度迁移学习框架的训练过程主要包括两部分:1)标记源数据的预训练；2)标记源数据和非标记目标数据同时输入的目标域网络自适应训练，训练数据集被分成小批量，这些小批量数据被输入网络进行训练，理想的批量大小应该尽可能大以覆盖整个数据集的方差，而过大的批量大小也会增加计算负担，因此要在传输性能和计算效率之间进行权衡。