[发明专利]机器学习装置及方法、伺服电动机控制装置及系统

说明书

本发明提供机器学习装置及方法、伺服电动机控制装置及系统。机器学习装置对具有变更部的伺服电动机控制装置进行机器学习，该变更部变更控制伺服电动机的控制部的参数，以及位置指令与转矩指令中的至少一个的校正值，该机器学习装置具有：状态信息取得部，其通过使伺服电动机控制装置执行预定的程序，取得包含位置指令、包含位置偏差的伺服状态、参数与校正值的组合的状态信息；行为信息输出部，其输出包含状态信息所包含的参数与校正值的组合的调整信息在内的行为信息；回报输出部，其输出基于状态信息所包含的位置偏差的强化学习中的回报的值；以及价值函数更新部，其根据由回报输出部输出的回报的值、状态信息和行为信息，更新行为价值函数。

技术领域

本发明涉及对伺服电动机控制装置进行与参数和校正值有关的学习的机器学习装置、包含该机器学习装置在内的伺服电动机控制装置和伺服电动机控制系统、以及机器学习方法，所述伺服电动机控制装置对作用于控制对象的负载的变动来变更控制伺服电动机的控制部的该参数，以及位置指令和转矩指令中的至少一个的校正值。

背景技术

以往的伺服电动机控制装置例如已知有专利文献1所记载的数值控制装置、专利文献2所记载的机械装置的控制装置、专利文献3所记载的电动机的控制装置、以及专利文献4所记载的伺服控制装置。

专利文献1所记载的数值控制装置将机床的进给轴的移动范围划分成多个区域，并预先存储与所划分的多个区域的每一个对应的多个控制参数。检测工件加工时的进给轴的位置，从所存储的多个控制参数中读出与所检测的工件加工时的进给轴的位置所属的划分出的区域对应的控制参数，并使用读出的控制参数来控制进给轴。此外，数值控制装置将来自转矩前馈控制部的输出与来自速度反馈控制部的输出相加，经由带阻滤波器向进给轴电动机驱动部供给该加算值，由此，驱动进给轴电动机。

专利文献2所记载的机械装置的控制装置根据从机械装置输出的速度来推定机械装置产生的摩擦力，将比例增益与推定出的摩擦力相乘而求出摩擦校正值，使用求出的摩擦校正值来校正转矩指令。比例增益根据从针对机械装置的位置指令到位置偏差的传递函数的增益特性来决定。

专利文献3所记载的电动机的控制装置具有：第一学习控制器，其以第一电动机的位置偏差为最小的方式来计算位置偏差校正量；以及第二学习控制器，其以第二电动机的位置偏差为最小的方式来计算位置偏差校正量，通过将决定学习控制的响应性的参数设为相同，而将各电动机的响应性设为同等。

专利文献4所记载的伺服控制装置对驱动原动轴的主侧驱动源、与驱动从动轴的从属侧驱动源进行同步控制。并且，该伺服控制装置求出主侧驱动源的位置偏差与从属侧驱动源的位置偏差之差即同步误差，并根据针对从属侧的驱动源的位置指令值来校正从属侧驱动源的位置偏差，以减小同步误差。学习控制部接收同步误差，并根据该同步误差来计算校正进给侧伺服电动机的位置偏差的校正数据。

现有技术文献

专利文献1：国际公开第2012-057219号

专利文献2：日本特开2015-156194号公报

专利文献3：日本特开2009-106034号公报

专利文献4：日本特开2008-225533号公报

有时作用于由伺服电动机控制装置控制的控制对象的负载因控制对象的旋转轴的角度或控制对象的驱动体的位置等而发生变动。针对该负载的变动，变更控制伺服电动机的控制部的参数以及位置指令和转矩指令中的至少一个的校正值在伺服性能提升方面尤为重要。在针对作用于控制对象的负载的变动使控制部的参数与校正值变更时，根据控制对象的旋转轴的角度、控制对象的驱动体的位置将控制部的参数的值与校正值设定为怎样的值成为问题。

发明内容