[发明专利]一种基于多模型融合的工业异常检测模型训练方法和装置

权利要求书

1.一种基于多模型融合的工业异常检测模型训练方法，其特征在于，包括以下步骤：

步骤一，获取传感器数据后进行预处理；

步骤二，将预处理得到的传感器特征张量分别输入多个教师模型和学生模型，获取模型中各个网络层输出的特征，特征包括中间层张量和任务层向量；

步骤三，将教师模型的中间层张量、学生模型的中间层张量分别映射为教师公共空间张量、学生公共空间张量；

步骤四，获取并根据各个教师公共空间张量的注意力系数，对所有教师公共空间张量加权平均，得到与学生公共空间张量相对应的教师加权张量，再将所有的教师模型任务层向量横向拼接成一个一维的教师任务层拼接向量；

步骤五，对比学生公共空间张量与其相应的教师加权张量，得到蒸馏损失；对比学生模型任务层向量和教师任务层拼接向量，得到任务损失；对比数据集标注的标签与学生模型的任务层向量，得到预测损失；基于所述的蒸馏损失、任务损失与预测损失，得到总的损失；

步骤六，重复步骤一至步骤五，最小化总的损失，更新学生模型的神经网络参数，直至收敛并固定学生模型的神经网络参数，获得目标模型，完成训练；

所述步骤一具体为：利用单层的LSTM网络，将传感器数据转化为传感器特征张量，其中是传感器数据的时间窗口大小即数据长度，为传感器特征张量的隐藏层维度；

所述步骤二，具体包括以下子步骤：

S21，将传感器特征张量分别输入预先训练好的个教师模型，对于第个教师模型，每个模型有个中间层；对于第个模型的第个中间层，其输出的中间层张量为；计算得到共个教师模型的中间层张量；

S22，将传感器特征张量输入学生模型，对于学生模型的第个中间层，计算得到第层的学生模型中间层张量；

S23，对于第个教师模型的最终层，计算得到教师任务向量；对于学生模型的最终层，计算得到学生任务向量；所述学生任务向量的维度，等于所有教师模型任务向量维度的和，加上数据集中新出现的类别数；

所述步骤三，具体包括以下子步骤：

S31，将教师模型的中间层张量转化为维度相同的教师公共空间张量，对于第个教师模型的第个层，有相应的教师公共空间张量，其中表示由卷积神经网络层实现的非线性变换；

S32，若非线性变换中的参数是固定的，则计算得到共个教师公共空间张量 ；否则，通过步骤S33、步骤S34更新非线性变换中的参数；

S33，对于第个教师模型的第个层相应的教师公共空间张量，通过非线性变换将其映射为与教师模型的中间层张量维度相同的教师中间层重构张量；

S34，通过对比教师模型的中间层张量与教师中间层重构张量，计算重构误差：

，

其中，为重构损失函数；通过梯度下降法最小化，更新非线性变换的参数，直到重构误差小于阈值，或满足迭代步数，固定参数；

S35，将学生模型的中间层张量转化为维度相同的学生公共空间张量，对于第个层，；其中是由神经网络层实现的非线性变换，其参数为；所述维度相同的学生公共空间张量，其维度与步骤S31所述教师公共空间张量维度一致；

所述步骤四，具体包括以下子步骤：

S41，基于第层学生公共空间张量，第个教师模型第层的教师公共空间张量，通过注意力机制，得到教师公共空间张量的注意力系数，表达式为：

，

S42，根据注意力系数，对所有教师公共空间张量作加权平均，得到与学生模型第层相应的教师加权张量，表达式为：

；

S43，将所有的教师模型的任务层向量拼接成一个一维的教师任务层拼接向量，其中，若标注数据集中出现个新的异常类别，则在所述教师任务层拼接向量上，拼接上一个长度为的全0向量，得到新的教师任务层拼接向量，表达式为：

，

其中，为向量拼接操作， 为长度为的全零向量，为数据集中新出现的异常类别数。