[发明专利]一种基于一维周期信号进行分类的迁移学习方法

说明书

本发明提供了一种基于一维周期信号进行分类的迁移学习方法，包括：S1、采用编码神经网络提取源域数据集和目标域数据集中的每个样本的特征向量，利用源域和目标域中设有标签的样本的特征向量以及标签训练分类器以识别设备的状态类别，训练时根据分类损失更新分类器的参数；S2、将目标域中没有标签的每个样本的特征向量输入经步骤S1训练的分类器以输出样本对应的状态类别，并将其作为对应样本的伪标签；S3、根据源域数据集中样本的特征向量、标签以及目标域数据集中样本的特征向量、标签和伪标签确定源域和目标域之间包含边缘分布差异和条件分布差异的第一联合分布损失，并根据第一联合分布损失更新编码神经网络的参数。

技术领域

本发明涉及神经网络领域，具体来说涉及迁移学习领域，更具体地说，涉及一种基于一维周期信号进行分类的迁移学习方法。

背景技术

在工业上，各种设备在运行过程中的不同状态(比如：正常状态和各种故障状态)会产生不同的表现，从设备自身设置的传感器或者利用设备上布置的传感器可以采集设备的一维周期信号，设备不同的状态下会采集到不同的一维周期信号，该一维周期信号是指由传感器采集到的随时间变化有周期性变化的向量数据。通过为采集的一维周期信号标注指示设备的状态类别的标签的方式，制作数据集，并用于训练分类模型，训练好的分类模型可以用于监控设备的状态，以便设备的使用者能够很方便地掌握设备的状态。

工业上的设备存在不同的类型或者型号，因为设备的设计、参数、材料、结构等的不同，从不同设备采集的一维周期信号在分布上往往存在差异，在基于标注好的数据集对用于针对某个设备进行监控的分类模型进行训练后，该训练好的模型不能直接应用于对其他设备的监控。但是，如果针对每个设备都分别制作带有大量标注的样本的数据集，这将耗费大量的人力和时间成本。因此，可以采用迁移学习技术来降低人力和时间成本。

现有的针对一维周期信号的迁移学习的技术主要包括以下两种：

第一种技术：对源域及目标域的一维周期信号集进行统一的特征提取方法，手段不限于物理量及深度学习等方法，然后利用模型训练缩短两个特征集之间的分布差异，实现迁移的目的；其相关的技术例如参见公开号为CN113869563A的中国专利申请。该申请中，在迁移方面利用的是分类神经网络最后全连接层输出的特征进行迁移，这种迁移方式虽然实现了迁移的目的，但是没能实现目标域原始信号分布的丰富，物理意义也在特征提取的过程中被消除掉，导致可解释性下降。而且其在评价迁移效果时仅使用了特征之间的均方根误差，虽然在无量纲归一化的特征上数值差异小可以近似于分布差异小，但是在其他场景下并不能够近似，存在泛化性较差，在其他信号场景下缺乏说服力的问题。

第二种技术：用源域的大量数据进行单一模型的预训练，在源域数据上取得好的效果，然后用少量的目标域数据对预训练模型进行微调(Finetune)，以实现迁移的目的。换言之，第二种技术使用的迁移方法为在源域上训练一个预训练预测模型，之后使用预训练预测模型的参数在目标域上进行基于小样本训练的微调。如果源域与目标域的条件分布和边缘分布均存在差异时，该技术难以达良好的迁移效果，同样存在泛化性较差，在其他信号场景下缺乏说服力的问题。

总的来说，在基于一维周期信号对设备的状态进行检测时，存在以下问题：

1.现有技术如果想要使用预训练预测模型实现迁移学习，其神经网络必须先经过源域数据训练形成网络参数，然后通过用目标域小样本数据二次训练神经网络的部分层来改变部分参数，最终实现迁移目的。但这样的方式有个问题：目标域小样本不能覆盖源域大样本的训练参数，因为这样会失去预训练的作用。这就使迁移的效果极大依赖于源域与目标域的分布相似性，如果两者的条件分布和边缘分布均差距较大，这样的迁移方法可以说是几乎无效的。