[发明专利]机器学习装置、数控装置、工作机械及机器学习方法

权利要求书

1.一种机器学习装置，其在对工件进行抓持而输送的第1卡盘、和对所述工件进行抓持而接收的第2卡盘之间的所述工件的交接时，对向使所述第1卡盘移动的驱动机构的位置指令进行学习，

该机器学习装置的特征在于，具有：

状态观测部，其将向所述驱动机构的所述位置指令、和来自所述驱动机构的反馈数据作为状态变量进行观测；以及

学习部，其按照基于所述状态变量创建的数据集，对抑制所述第1卡盘和所述第2卡盘之间的所述工件的交接位置的位置偏移的所述位置指令进行学习，

所述反馈数据包含反馈位置，该反馈位置表示对所述工件进行输送的输送机构的位置，

所述学习部具有：

回报计算部，其基于向所述驱动机构的所述位置指令所示的位置和所述反馈位置的差分，对回报进行计算；以及

函数更新部，其基于所述回报，对用于决定所述位置指令的函数进行更新。

2.一种数控装置，其特征在于，具有：

权利要求1所述的机器学习装置；以及

控制部，其将由所述学习部学习到的所述位置指令向所述驱动机构进行输出。

3.根据权利要求2所述的数控装置，其特征在于，

所述反馈数据包含反馈电流，该反馈电流是表示所述驱动机构为了使所述第1卡盘移动而从所述驱动机构输出的电流的数据，

所述回报计算部基于所述差分及所述反馈电流对所述回报进行计算。

4.根据权利要求3所述的数控装置，其特征在于，

所述回报计算部在所述差分小于或等于阈值、且所述反馈电流小于或等于基准电流值的情况下使所述回报增大，在所述差分大于所述阈值或者所述反馈电流大于所述基准电流值的情况下使所述回报减少。

5.根据权利要求3或4所述的数控装置，其特征在于，

所述函数更新部按照所述回报，对表示所述函数的行动价值表进行更新。

6.根据权利要求3所述的数控装置，其特征在于，

所述状态观测部在所述差分大于阈值或者所述反馈电流大于基准电流值的情况下，判定为所述交接失败，

如果判定为所述交接失败，则所述学习部对所述位置指令进行学习，

如果判定为所述交接失败，则所述控制部通过由所述学习部学习到的所述位置指令进行所述交接的重试。

7.根据权利要求2至6中任一项所述的数控装置，其特征在于，

所述学习部对向所述驱动机构的所述位置指令中的、向与所述第1卡盘和所述第2卡盘之间的所述交接的方向垂直的第1方向的位置指令进行学习。

8.一种工作机械，其特征在于，

由权利要求2至7中任一项所述的数控装置进行控制，通过所述驱动机构进行驱动。

9.一种机器学习方法，其在对工件进行抓持而输送侧的第1卡盘和对所述工件进行抓持而接收侧的第2卡盘之间的所述工件的交接时，对向使所述第1卡盘移动的驱动机构的位置指令进行学习，

该机器学习方法的特征在于，包含：

状态观测步骤，将向所述驱动机构的所述位置指令和来自所述驱动机构的反馈数据作为状态变量进行观测；以及

学习步骤，按照基于所述状态变量创建的数据集，对抑制所述第1卡盘和所述第2卡盘之间的所述工件的交接位置的位置偏移的所述位置指令进行学习，

所述反馈数据包含反馈位置，该反馈位置表示对所述工件进行输送的输送机构的位置，

所述学习步骤具有：

回报计算步骤，其基于向所述驱动机构的所述位置指令所示的位置和所述反馈位置的差分，对回报进行计算；以及

函数更新步骤，其基于所述回报，对用于决定所述位置指令的函数进行更新。