[发明专利]行动信息学习装置、行动信息最优化系统以及计算机可读介质

说明书

本发明涉及行动信息学习装置、行动信息最优化系统以及计算机可读介质。进行能够选择用于避免发生过热并缩短循环时间的行动信息的强化学习。行动信息学习装置具备：状态信息获取单元，获取状态信息，该状态信息包含与机床的加工有关的主轴的动作模式和参数的组合；行动信息输出单元，输出行动信息，该行动信息包含状态信息中包含的动作模式和参数的组合的调整信息；奖励计算单元，获取判定信息，并根据获取到的该判定信息输出强化学习中的奖励的值，该判定信息是关于机床的温度和与机床的加工有关的加工时间的信息；以及价值函数更新单元，通过根据奖励的值、状态信息以及行动信息进行强化学习，来更新价值函数。

技术领域

本发明涉及一种进行与用于对机床等进行控制的行动信息有关的学习的行动信息学习装置和计算机可读介质以及用于使行动信息最优化的行动信息最优化系统。

背景技术

为了提高机床的生产性，需要缩短用于对工件进行加工的加工时间即循环时间。作为用于缩短循环时间的方法，例如能够想到提高机床的切削进给的速度、使机床所具备的主轴、进给轴的加减速的时间常数变短。

然而，当提高切削进给的速度、或者使主轴、进给轴的加减速的时间常数变短时，施加于包括电动机或放大器的各轴的驱动装置的负荷变大。其结果，驱动装置因发热而过热，有可能引发驱动装置的损伤、动作不良。

为了防止这样的状况，一般的技术是当由于发热而驱动装置的温度即将上升到过热之前时，发出警报来使驱动部的动作停止。由此，能够防止由于驱动装置过热而使驱动装置损伤等。然而，产生如下问题：由于在从使驱动装置暂时停止运转起直到驱动装置冷却而温度下降为止的期间内无法进行再运转，因此导致加工被中断。

考虑到该问题，在专利文献1所公开的技术中，在由于发热而驱动装置的温度上升到了规定的温度的情况下，不是使驱动部立即停止，而是使驱动部的动作速度下降。这样，能够防止驱动装置的温度进一步上升，并使驱动部运转来继续进行加工。

专利文献1：日本特开2003-5836号公报

发明内容

发明要解决的问题

如上所述，通过利用专利文献1所公开的技术，即使在基于所设定的加工程序进行加工处理时驱动装置有可能发生过热的情况下，也能够通过调整该加工程序来继续进行加工。

然而，在专利文献1所公开的技术中，在基于所设定的加工程序进行加工处理时驱动装置有可能发生过热的情况下，使驱动部的动作速度下降，因此用于对工件进行加工的循环时间变长。也就是说，在专利文献1所公开的技术中，存在机床的生产性下降的问题。

因此，本发明的目的在于提供一种用于进行能够针对状态信息(例如包含后述的加工程序和参数等的信息)选择行动信息(例如包含后述的该加工程序的调整和该加工程序执行时的参数的调整的信息)的强化学习的行动信息学习装置和行动信息学习程序以及用于选择这样的行动信息的行动信息最优化系统，其中，该状态信息包含与机床中的预先设定的加工处理有关的主轴的动作模式、参数等的组合的状态信息，该行动信息包含避免发生过热并使该加工循环时间为最短那样的该状态信息的调整信息。

用于解决问题的方案