[发明专利]机器学习装置、控制系统、控制装置以及机器学习方法

说明书

本发明涉及机器学习装置、控制系统、控制装置以及机器学习方法。该机器学习装置针对控制主轴电动机与进给轴电动机之间的同步运行的机床的控制装置进行机器学习，具备：状态信息取得部，其通过使控制装置执行攻丝程序，从控制装置取得包括针对主轴电动机的转矩指令值、包括减速的驱动状态、加速时移动距离和减速时移动距离之间的比率的状态信息；行为信息输出部，其将包括加速时移动距离和减速时移动距离之间的比率的调整信息的行为信息输出给控制装置；回报输出部，其输出基于减速时的转矩指令值和减速时的目标转矩指令值的强化学习的回报的值及价值函数更新部，其根据回报输出部输出的回报的值、状态信息和行为信息来更新行为价值函数。

技术领域

本发明涉及针对控制主轴电动机与进给轴电动机之间的同步运行的机床的控制装置进行机器学习的机器学习装置、控制系统、控制装置以及机器学习方法。

背景技术

目前已知一种通过主轴电动机与进给轴电动机之间的同步运行对被加工物进行攻丝(螺丝孔加工)的机床控制装置。例如，专利文献1公开一种能够进行使主轴的加速能力最大限度发挥的控制来缩短循环时间的机床控制装置。具体地说，该控制装置具备驱动主轴电动机的主轴控制部，并且，主轴控制部具备：初始动作控制部，其将最高转速V0作为目标值并使主轴以最大能力从加工开始位置加速旋转；最大加速度检测部，其在加速旋转过程中检测主轴的最大加速度A0；剩余旋转量检测部，其检测从当前位置到目标螺纹深度为止的主轴剩余旋转量Sr；当前速度检测部，其检测主轴的当前速度Vc；定位动作控制部，其在加速旋转后使主轴减速旋转而到达目标螺纹深度；以及过量检测部，其检测在减速旋转过程中针对目标螺纹深度的主轴的过量Ov。

专利文献1：日本特开2017-30061号公报

发明内容

为了通过主轴电动机与进给轴电动机之间的同步运行对被加工物进行攻丝，使刀具旋转的驱动状态为加速、恒速、减速、停止的顺序。这里，如果增大减速时的主轴转矩指令值并缩短减速期间，延长恒速期间，则能够缩短循环时间，但是如果过度增大减速时的主轴转矩指令值则有超过减速时的目标主轴转矩指令值的情况。

本发明的目的为提供针对加工程序使减速时的电动机能力接近目标值且能够使每个机械或每个动作条件稳定的机器学习装置、控制系统、控制装置以及机器学习方法。

(1)本发明的机器学习装置(例如后述的机器学习装置300)为针对控制主轴电动机(例如后述的主轴电动机101)与进给轴电动机(例如后述的进给轴电动机105)之间的同步运行的机床(例如后述的机床100)的控制装置(例如后述的控制装置200)进行机器学习的机器学习装置，该机器学习装置具备：

状态信息取得部(例如后述的状态信息取得部310)，其通过使上述控制装置执行攻丝程序，从上述控制装置取得至少包括针对上述主轴电动机的转矩指令值、包含上述主轴电动机的减速的驱动状态、上述主轴电动机的加速时移动距离和减速时移动距离之间的比率的状态信息；

行为信息输出部(例如后述的行为信息输出部303)，其将包括上述状态信息中包含的上述主轴电动机的加速时移动距离和减速时移动距离之间的上述比率的调整信息的行为信息输出给上述控制装置；

回报输出部(例如后述的回报输出部3021)，其输出基于上述状态信息中包括的减速时的转矩指令值和减速时的目标转矩指令值的强化学习的回报的值；以及

价值函数更新部(例如后述的价值函数更新部3022)，其根据由上述回报输出部输出的回报的值、上述状态信息以及上述行为信息来更新行为价值函数。

(2)在上述(1)记载的机器学习装置中，上述回报输出部使用减速时的转矩指令值Tm、减速时的目标转矩指令值Tt以及系数a，通过数学式1来求出回报。

[数学式1]