[发明专利]机器学习装置、控制装置以及机器学习方法

说明书

本发明提供一种机器学习装置、控制装置以及机器学习方法。机器学习装置对具备校正生成部和限制部的伺服控制装置进行与校正生成部的校正量的最佳化有关的机器学习，其中，校正生成部生成添加在对驱动机床、机器人或者工业机械的轴的伺服电动机进行控制的控制指令的校正量，限制部将校正量或者添加了校正量的控制指令限制在设定范围内，在机器学习动作中，在伺服控制装置中校正量或者添加了校正量的控制指令成为设定范围外，且限制部对校正量或者添加了校正量的控制指令加以限制而成为设定范围内的情况下，在机器学习装置中，将校正量反映到学习中，继续进行将由校正生成部生成的校正量最佳化的新的搜索。

技术领域

本发明涉及对具备校正生成部的伺服控制装置进行与校正生成部的校正量的最佳化有关的机器学习的机器学习装置、包括该机器学习装置的控制装置以及机器学习方法，上述校正生成部生成添加在对驱动机床、机器人或者工业机械的轴的伺服电动机进行控制的控制指令的校正量。

背景技术

例如专利文献1中记载有伺服控制装置，该伺服控制装置对控制伺服电动机的速度指令或者转矩指令添加位置前馈项或者速度前馈项等校正量，伺服电动机驱动机床、机器人或者工业机械的轴。

专利文献1中记载有在切断电源之前报告伺服电动机的动作状态的伺服控制装置。该伺服控制装置具备伺服电动机和安全单元。若伺服电动机的速度、位置、加速度、移动量、移动方向、转矩中的至少任意一个成为第一动作范围外，则安全单元切断对伺服电动机的供电。另外，若速度、位置、加速度、移动量、移动方向、转矩中的至少任意一个包含于第一动作范围内，并且成为比第一动作范围窄的第二动作范围外，则安全单元输出警告。

专利文献1：日本特开2017-55655号公报

发明内容

在对控制驱动机床、机器人或者工业机械的轴的伺服电动机的速度指令或者转矩指令添加位置前馈项或者速度前馈项等校正量的伺服控制装置中，存在若生成的校正量不在适当的范围内，位置偏差增大，则被伺服控制装置驱动的机床、机器人、或者工业机械的动作变得不稳定，机床等由于报警而停止、结束的情况。

例如，在不是空运转，而一边使机床实际动作一边学习校正量的情况下，若该校正量不在适当的范围内，则有可能在电动机或者机械前端产生振动而不能进行有效的学习，另外，机床等由于报警而停止、结束，从而学习中断。

另一方面，在添加到速度指令或者转矩指令的位置前馈项或者速度前馈项等校正量使用后述的高阶的传递函数生成的情况下，考虑机器学习装置一边使机床实际动作一边通过机器学习求出该传递函数的系数的方法。

作为这种学习方法的一个例子，考虑通过强化学习进行的传递函数的系数的机器学习。强化学习是所谓的无监督学习，即，若智能体观测环境的状态，并选择某个行为，则环境基于该行为变化，随着环境的变化，给予一些回报，智能体学习更好的行为的选择(决策)。在通过这种强化学习而机器学习到传递函数的系数的情况下，在环境的状态是位置偏差的情况下，若例如选择该位置偏差增大这样的系数，则在电动机或者机械前端产生振动而不能进行有效的机器学习，另外，机床等由于报警而停止、结束，从而机器学习中断。因此，需要在机器学习装置一边使机床实际动作，一边对校正量进行机器学习的情况下，即使选择不适当的校正量，也能够继续机器学习的机器学习装置、包括该机器学习装置的控制装置以及机器学习方法，而不会在电动机或者机械前端产生振动而不能进行有效的学习，另外，机床等由于报警而停止、结束，从而学习中断。

本发明的目的在于提供一种机器学习装置、包括该机器学习装置的控制装置以及机器学习方法，在具备生成添加到控制伺服电动机的控制指令的校正量的校正生成部的伺服控制装置中，在一边使机床、机器人或者工业机械等实际动作一边对校正生成部中的校正量的计算式进行机器学习的情况下，在机器学习中，即使计算出不适当的校正量，也能够继续机器学习而不会在电动机或者机械前端产生振动而不能进行有效的学习，另外，机床等由于报警而停止、结束，从而学习中断。