[发明专利]一种基于多智能体进化强化学习的加工参数优化方法

权利要求书

1.一种基于多智能体进化强化学习的加工参数优化方法，其特征在于，该方法包括以下步骤：

(1)采集变参数切削工况下的加工振动数据并测量工件表面粗糙度，同时提取振动信号的时域特征和频域特征；

(2)构建加工过程知识图谱，并基于集成图注意力网络建立加工质量估计模型；其中，所述加工过程知识图谱包括加工参数、加工振动时间频域特征和表面粗糙度；

(3)将加工参数优化问题形式化的表示为马尔科夫决策过程，并确定状态、动作空间和奖励函数，进而构建多智能体强化学习模型；

(4)确定适应度函数，并结合进化学习方法在与加工质量估计模型交互过程中训练所述多智能体强化学习模型，继而采用所述多智能体强化学习模型实现加工参数优化。

2.如权利要求1所述的基于多智能体进化强化学习的加工参数优化方法，其特征在于：加工质量估计模型包括两个模块，对应的表达式为：

式中，为模型第一模块，其功能包括缺失特征补全，θ₁为第一模块的网络参数；为模型的第二模块，利用补全后的特征和加工参数估计加工表面粗糙度值，θ₂为第二模块的网络参数。

3.如权利要求2所述的基于多智能体进化强化学习的加工参数优化方法，其特征在于：将加工参数优化问题转化为马尔科夫决策问题时，对应的公式为：

式中，Γⁱ表示第i个生产任务的优化目标，受(ω₁,ω₂)_i影响，ω₁,ω₂分别为材料去除率MRR和表面粗糙度Ra的权重系数。

4.如权利要求3所述的基于多智能体进化强化学习的加工参数优化方法，其特征在于：MRR和Ra的计算公式分别为：

式中n,f分别表示主轴转速和进给速度，v_c表示切削速度，a_p表示背吃刀量，D为工件直径；即加工质量估计模型的两个模块。

5.如权利要求4所述的基于多智能体进化强化学习的加工参数优化方法，其特征在于：状态S为：

s＝[tff,n,f]

状态向量充分反应环境状态，由加工参数n,f和对应的加工特征tff两部分构成，其中tff由模块计算得到；

动作a为：

a＝[n,f]

其中n和f的上下选择极限范围；

约束g_i为：

g_i∈[x_min,x_max]

其中g_i表示第i个约束，包括主轴转速和进给速度，x_min和x_max分别代表第i个约束的上下边界；

奖励函数为：

其中(n′,f′)为前一轮优化所得加工参数组合。

6.如权利要求2所述的基于多智能体进化强化学习的加工参数优化方法，其特征在于：所述多智能体强化学习模型包括仿真环境框架及多智能体框架，其中，仿真环境框架以所建立的基于集成图注意力网络的加工质量估计模型为基础，环境输入加工参数组合(n,f)，首先通过模块补全相应的加工特征tff；将(n,f)和tff向量拼接后作为模块的输入，计算加工表面粗糙度Ra；环境输出中，将拼接后的加工参数和特征向量作为环境状态向量s_t，环境输出的加工表面粗糙度Ra用于智能体奖励计算。

7.如权利要求6所述的基于多智能体进化强化学习的加工参数优化方法，其特征在于：多智能体框架包括两个智能体Agent_n和Agent_f，分别根据环境状态s计算输出加工参数n和f，加工参数(n,f)传递到仿真环境框架中执行，仿真环境框架反馈新的粗糙度Ra和新的环境状态s。