[发明专利]一种基于多智能体进化强化学习的加工参数优化方法

说明书

本发明属于切削参数加工优化相关技术领域，其公开了一种基于多智能体进化强化学习的加工参数优化方法，该方法包括以下步骤：(1)采集变参数切削工况下的加工振动数据并测量工件表面粗糙度，同时提取振动信号的时域特征和频域特征；(2)构建加工过程知识图谱，并基于集成图注意力网络建立加工质量估计模型；(3)将加工参数优化问题形式化的表示为马尔科夫决策过程，并确定状态、动作空间和奖励函数，进而构建多智能体强化学习模型；(4)确定适应度函数，并结合进化学习方法在与加工质量估计模型交互过程中训练所述多智能体强化学习模型，继而采用所述多智能体强化学习模型实现加工参数优化。本发明提高了预测性能。

技术领域

本发明属于切削参数加工优化相关技术领域，更具体地，涉及一种基于多智能体进化强化学习的加工参数优化方法。

背景技术

合理选择加工参数对保证产品质量、降低加工成本、提高生产效率具有重要作用。在传统生产过程中，主要通过调整进给速度、切削速度和切削深度参数，进行大量的试切实验，探索实现高材料去除率和加工质量的加工参数。但这种传统的试割方法成本高、周期长、难以获得最优参数。

在加工参数优化中有两个主要的挑战:Ⅰ)切削参数与优化目标之间的相关分析和建模。Ⅱ)对传统优化方法的改进与创新。目前，在实际优化阶段，数值模拟的精度较差。因此，经常使用灰关联、响应面法和人工神经网络来分析加工参数、切削力、切削功率与表面粗糙度之间的关系。这些研究利用实验数据建立基于统计模型、经验模型或人工智能模型的“参数变量→目标函数”映射模型，往往忽略了加工振动对加工参数与加工质量相关性的主导作用。此外，加工参数优化大多采用传统的优化方法，如遗传算法、粒子群优化、模拟退火等，并假设环境具有平稳性。然而，一旦考虑到加工振动，加工参数的优化就成为一个高维优化问题，传统的优化方法在解决这类高维复杂优化问题时往往表现不佳。

因此，本领域目前亟需研究一种新的高效、稳定的加工参数优化方法，用以解决高精加工场景中的切削加工参数优化问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于多智能体进化强化学习的加工参数优化方法，其利用知识图谱技术，融合加工参数、加工振动特征和加工表面粗糙度数据之间的映射信息和结构信息建立了更加准确的加工质量估计模型，进一步结合进化学习方法，在与加工质量估计模型交互过程中训练所建立的多智能体强化学习模型，继而探索有效稳定的加工参数优化策略，解决高精加工场景中的加工参数优化问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于多智能体进化强化学习的加工参数优化方法，该方法包括以下步骤：

(1)采集变参数切削工况下的加工振动数据并测量工件表面粗糙度，同时提取振动信号的时域特征和频域特征；

(2)构建加工过程知识图谱，并基于集成图注意力网络建立加工质量估计模型；其中，所述加工过程知识图谱包括加工参数、加工振动时间频域特征和表面粗糙度；

(3)将加工参数优化问题形式化的表示为马尔科夫决策过程，并确定状态、动作空间和奖励函数，进而构建多智能体强化学习模型；

(4)确定适应度函数，并结合进化学习方法在与加工质量估计模型交互过程中训练所述多智能体强化学习模型，继而采用所述多智能体强化学习模型实现加工参数优化。

进一步地，加工质量估计模型包括两个模块，对应的表达式为：

式中，为模型第一模块，其功能包括缺失特征补全，θ₁为第一模块的网络参数；为模型的第二模块，利用补全后的特征和加工参数估计加工表面粗糙度值，θ₂为第二模块的网络参数。

进一步地，将加工参数优化问题转化为马尔科夫决策问题时，对应的公式为：