[发明专利]机器学习装置及方法、伺服电动机控制装置及系统

权利要求书

1.一种伺服电动机控制系统，具备：伺服电动机控制装置，其具有变更根据位置指令来控制伺服电动机的控制部的参数以及所述位置指令和转矩指令中的至少一个的校正值的变更部；通过该伺服电动机控制装置控制的控制对象；以及对所述伺服电动机控制装置进行机器学习的机器学习装置，其特征在于，

所述机器学习装置具有：

状态信息取得部，其通过使所述伺服电动机控制装置执行预定的程序，从所述伺服电动机控制装置取得状态信息，所述状态信息包含所述位置指令、至少包含位置偏差在内的伺服状态、所述控制部的参数与所述校正值的组合；

行为信息输出部，其对所述伺服电动机控制装置输出行为信息，所述行为信息包含所述状态信息所包含的所述参数与所述校正值的组合的调整信息；

回报输出部，其输出基于所述状态信息所包含的所述位置偏差的强化学习中的回报的值；以及

价值函数更新部，其根据由所述回报输出部输出的回报的值、所述状态信息和所述行为信息，更新行为价值函数，

所述伺服电动机控制装置的所述控制部具有：位置控制部，其根据所述位置指令生成速度指令；速度控制部，其根据从该位置控制部输出的速度指令来生成所述转矩指令；以及滤波器，其使从该速度控制部输出的所述转矩指令的预定频率范围内的频率的信号衰减，

所述伺服电动机控制装置的所述变更部根据所述行为信息来变更所述位置控制部和所述速度控制部中的至少一个的增益、所述滤波器的滤波系数以及附加到所述位置指令或所述转矩指令中的转矩偏移值和摩擦校正值中的至少一个。

2.根据权利要求1所述的伺服电动机控制系统，其特征在于，

所述回报输出部根据所述位置偏差的绝对值来输出所述回报的值。

3.根据权利要求1或2所述的伺服电动机控制系统，其特征在于，

所述机器学习装置还具有：最优化行为信息输出部，其根据由所述价值函数更新部更新的价值函数，生成所述控制部的参数与所述位置指令和所述转矩指令中的至少一个的所述校正值的组合并输出至所述变更部。

4.根据权利要求1所述的伺服电动机控制系统，其特征在于，

所述控制对象具有伺服电动机和由该伺服电动机来控制旋转角度的驱动体，并依赖于所述旋转角度使所述驱动体的旋转轴承受的负载变动。

5.根据权利要求1所述的伺服电动机控制系统，其特征在于，

所述控制对象具有伺服电动机和由该伺服电动机来控制位置的驱动体，并依赖于所述位置使所述控制对象承受的负载变动。

6.根据权利要求4或5所述的伺服电动机控制系统，其特征在于，

所述负载随时间变化。

7.一种伺服电动机控制系统的控制方法，所述伺服电动机控制系统具备：伺服电动机控制装置，其具有变更根据位置指令来控制伺服电动机的控制部的参数以及所述位置指令和转矩指令中的至少一个的校正值的变更部；通过该伺服电动机控制装置控制的控制对象；以及对所述伺服电动机控制装置进行机器学习的机器学习装置，其特征在于，

所述机器学习装置执行以下内容：

通过使所述伺服电动机控制装置执行预定的程序，从所述伺服电动机控制装置取得状态信息，该状态信息包含所述位置指令、至少包含位置偏差在内的伺服状态、所述控制部的参数与所述校正值的组合，

对所述伺服电动机控制装置输出行为信息，该行为信息包含所述状态信息所包含的所述参数与所述校正值的组合的调整信息，

根据基于所述状态信息所包含的所述位置偏差的强化学习中的回报的值、所述状态信息和所述行为信息，更新行为价值函数，

所述伺服电动机控制装置的所述控制部具有：位置控制部，其根据所述位置指令生成速度指令；速度控制部，其根据从该位置控制部输出的速度指令来生成所述转矩指令；以及滤波器，其使从该速度控制部输出的所述转矩指令的预定频率范围内的频率的信号衰减，

所述伺服电动机控制装置的所述变更部根据所述行为信息来变更所述位置控制部和所述速度控制部中的至少一个的增益、所述滤波器的滤波系数以及附加到所述位置指令或所述转矩指令中的转矩偏移值和摩擦校正值中的至少一个。