[发明专利]基于知识蒸馏的工业过程优化决策模型迁移优化方法

权利要求书

1.基于知识蒸馏的工业过程优化决策模型迁移优化方法，其特征在于，包括：

S1：利用工业过程领域规则知识库，建立的嵌入领域规则的优化决策知识推理模型；所述为嵌入领域规则知识的优化决策模型；

S2：利用知识蒸馏技术，建立教师-学生网络模型，进行模型的轻量化处理，所述教师-学生网络模型中的教师网络为所述，所述教师-学生网络模型中的学生网络为利用工业过程语义知识库建立的模型，即多源数据语义知识驱动的优化决策模型；

S3：利用建立的工业过程领域规则知识库K_R和工业过程语义知识库K_S，同时训练教师网络和学生网络，进行教师网络向学生网络的知识迁移；

所述优化决策知识推理模型为，

样本集合为，其中，

X表示工业过程多源数据集合；

Y表示相应的标签集合且与多源数据语义知识的决策语义相对应；

工业过程领域规则知识库，其中第i条规则知识表示为，假设该条知识对应样本集合的具体事实为，为具体事实为对应的约束条件；

工业过程语义知识库为，n表示工业过程语义知识库的大小，k_i表示第i个知识元，具体为，前半部分为融合特征h_A，R为融合特征h_A对应的决策语义，表示某个决策问题的具体决策结果；

为对应的权重；

C为常数；

为的参数变量；

所述进行教师网络向学生网络的知识迁移的方法为，同时迭代训练教师网络和学生网络，参数进行更新，使学生网络逼近教师网络；

所述参数进行迭代更新公式为，

其中，

是损失函数；

是学生网络的软输出；

是教师网络的软输出；

是真实的决策语义。

2.根据权利要求1所述的基于知识蒸馏的工业过程优化决策模型迁移优化方法，其特征在于，所述损失函数的具体公式为，解决分类问题时，选择交叉熵损失函数，

其中，

y为真实值；

为预测值。

3.根据权利要求1所述的基于知识蒸馏的工业过程优化决策模型迁移优化方法，其特征在于，解决回归问题时，所述损失函数选择平方损失函数，具体公式为，

其中，

y为真实值；

为预测值。

4.根据权利要求1所述的基于知识蒸馏的工业过程优化决策模型迁移优化方法，其特征在于，所述教师网络采用深度神经网络。

5.根据权利要求1所述的基于知识蒸馏的工业过程优化决策模型迁移优化方法，其特征在于，所述学生网络采用深度神经网络。

6.根据权利要求5所述的基于知识蒸馏的工业过程优化决策模型迁移优化方法，其特征在于，解决分类问题时，选择多层感知机或卷积神经网络。

7.根据权利要求5所述的基于知识蒸馏的工业过程优化决策模型迁移优化方法，其特征在于，解决回归问题时，选择循环神经网络、长短时记忆网络或时空卷积网络。