[发明专利]基于知识蒸馏的工业过程优化决策模型迁移优化方法

说明书

本申请涉及基于知识蒸馏的工业过程优化决策模型迁移优化方法，利用知识蒸馏技术将复杂模型中的知识迁移到简单模型中，并建立了教师‑学生网络，教师网络定义为复杂模型具有强大的能力和表现，学生网络定义为简单模型表达更为紧凑。通过知识蒸馏，使学生网络模型能尽可能逼近或超过教师网络模型，从而用更少的复杂度来获得类似的预测效果，实现复杂模型教师网络向简单模型学生网络的知识迁移。

技术领域

本申请涉及人工智能领域，尤其涉及基于知识蒸馏的工业过程优化决策模型迁移优化方法。

背景技术

近年来，随着深度学习和计算能力的发展，神经网络模型在图像分类、目标识别、故障诊断等领域被广泛应用。通常，在解决优化决策问题时人们往往倾向于设计更为复杂的卷积神经网络收集更多的数据以期获得更好的效果。但随着模型的复杂度增加，模型参数越来越多，模型规模和需要的计算浮点数也越来越大，这对硬件资源(如内存、CPU)产生了更高的要求，不利于模型在存储空间、续航受限的设备上部署使用。知识蒸馏的概念是Hinton等人于2015年提出的，通过知识蒸馏的方式，可以提取网络中的“知识”，让一个更小的模型来学习大模型中的“知识”，期望小模型能达到大模型的效果。

复杂工业制造过程是一个涉及人、设备、物料、工艺、环境等繁杂生产要素协同交互的多尺度动态系统，其优化决策问题往往与多样性动态生产要素复杂耦合关联，具有机理复杂、多目标多约束、多尺度动态优化等特征。针对工业过程全生命周期活动中存在的生产计划与调度、故障诊断与分析、工艺参数优化、异常工况判定等优化决策问题，一方面需要考虑工业制造过程海量大数据，建立深度神经网络驱动的优化决策模型，另一方面需要融入工业过程积累的非结构化领域知识，以增强优化决策的鲁棒性和精准性，通常建立嵌入领域规则的优化决策知识推理模型来解决上述复杂的优化决策问题。然而，嵌入领域规则的优化决策知识推理模型推理性能优越，但较为复杂，使其不利于进行工业过程实时在线优化决策，无法在工业过程生产现场有效应用。

公开号为CN111767711A的专利公开了一种基于知识蒸馏的预训练语言模型的压缩方法及平台，该方法首先设计一种普适的特征迁移的知识蒸馏策略，在教师模型的知识蒸馏到学生模型的过程中，将学生模型每一层的特征映射逼近教师的特征，重点关注小样本在教师模型中间层特征表达能力，并利用这些特征指导学生模型；然后利用教师模型的自注意力分布具有检测词语之间语义和句法的能力构建一种基于自注意力交叉知识蒸馏方法；最后为了提升学习模型训练前期的学习质量和训练后期的泛化能力，设计了一种基于伯努利概率分布的线性迁移策略逐渐完成从教师到学生的特征映射和自注意分布的知识迁移。通过本发明，将面向多任务的预训练语言模型进行自动压缩，提高语言模型的压缩效率。

因此，亟需探索嵌入领域规则的优化决策知识推理模型压缩方法，以得到轻量型等价模型，为工业过程优化决策问题提供实时在线优化提供可行方案。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了基于知识蒸馏的工业过程优化决策模型迁移优化方法包括：

S1：利用工业过程领域规则知识库，建立的嵌入领域规则的优化决策知识推理模型，；所述为嵌入领域规则知识的优化决策模型；

S2：利用知识蒸馏技术，建立教师-学生网络模型，进行模型的轻量化处理，所述教师-学生网络模型中的教师网络为所述，所述教师-学生网络模型中的学生网络为利用工业过程语义知识库建立的模型，，即多源数据语义知识驱动的优化决策模型；

S3：利用建立的工业过程领域规则知识库K_R和工业过程语义知识库K_S，同时训练教师网络和学生网络，进行教师网络向学生网络的知识迁移；

所述优化决策知识推理模型为，