[发明专利]一种基于多模型融合的工业异常检测模型训练方法和装置

说明书

本发明公开一种基于多模型融合的工业异常检测模型训练方法和装置，该方法包括：步骤一，获取传感器数据后进行预处理；步骤二，将预处理得到的传感器特征张量分别输入多个教师模型和学生模型，获取模型中各个网络层的特征；步骤三，将所述特征中的中间层张量映射为公共空间张量；步骤四，对所有教师模型的公共空间张量加权平均，得到与学生公共空间张量相对应的教师加权张量，将所有教师模型任务层向量横向拼接成教师任务层拼接向量；步骤五，获取模型的蒸馏损失、任务损失以及预测损失，并加权求和得到总损失；步骤六，重复以上步骤，最小化总损失，更新学生模型神经网络参数，直至收敛，最终固定学生模型神经网络参数，获得目标模型，完成训练。

技术领域

本发明涉及工业设备异常检测领域，特别涉及一种基于多模型融合的工业异常检测模型训练方法和装置。

背景技术

在工业领域，正确地识别设备异常的类型有助于运维人员更快速的锁定问题、从而及时地采取相应的措施。随着工业传感器的广泛应用，可以收集到大量关键设备的监控数据。数据驱动的异常检测方法应运而生，通过对传感器数据的实时监控，可以动态地识别设备是否出现异常，以及识别异常的类型。

基于深度学习神经网络的工业异常检测方法正逐步获得重视，基于深度学习的工业异常检测方法有如下优势：1. 对特征工程的依赖较少，可以实现端到端的训练；2. 模型结构灵活，拟合能力强，可以提取出数据中复杂的模式；但是，深度学习方法对于有标注数据集的要求较高，往往需要较大量的标注数据才能达到较好的预测效果。

在工业异常检测领域，数据标注难度较大，带标注的数据通常难以获得；此外，工业数据涉及数据安全、商业机密问题，不同工厂、部门的设备运行数据往往不能共享，原始数据难以获得；另外，工业设备结构、运行环境都很复杂，很难一开始就掌握所有的异常类型；因此存在迭代模型的需求，从而将新发现和定义的异常类型考虑进去。

通常，针对相同型号的设备，不同工厂、或者相同工厂在不同的历史时期会训练出多个模型；对现有的模型加以利用可以有效的提升预测效果，其中，传统集成学习可以通过综合多个子模型来提升集成模型的效果；但是集成学习方法存在以下问题：1. 所有的子模型都要参与计算，在子模型数量多时，计算压力显著增加；2. 一般要求所有子模型对几个相同的类别作分类，而在工业异常检测领域，时常出现新的异常类型，不同时期模型所支持的异常类别存在差异。

发明内容

为了解决现有技术中存在的上述技术问题，本发明提出了一种基于多模型融合的工业异常检测模型训练方法和装置，其具体技术方案如下：

一种基于多模型融合的工业异常检测模型训练方法，包括以下步骤：

步骤一，获取传感器数据后进行预处理；

步骤二，将预处理得到的传感器特征张量分别输入多个教师模型和学生模型，获取模型中各个网络层输出的特征，特征包括中间层张量和任务层向量；

步骤三，将教师模型的中间层张量、学生模型的中间层张量分别映射为教师公共空间张量、学生公共空间张量；

步骤四，获取并根据各个教师公共空间张量的注意力系数，对所有教师公共空间张量加权平均，得到与学生公共空间张量相对应的教师加权张量，再将所有的教师模型任务层向量横向拼接成一个一维的教师任务层拼接向量；

步骤五，对比学生公共空间张量与其相应的教师加权张量，得到蒸馏损失；对比学生模型任务层向量和教师任务层拼接向量，得到任务损失；对比数据集标注的标签与学生模型的任务层向量，得到预测损失；基于所述的蒸馏损失、任务损失与预测损失，得到总的损失；

步骤六，重复步骤一至步骤五，最小化总的损失，更新学生模型的神经网络参数，直至收敛并固定学生模型的神经网络参数，获得目标模型，完成训练。