[发明专利]行动信息学习装置、行动信息最优化系统以及计算机可读介质

摘要

本发明涉及行动信息学习装置、行动信息最优化系统以及计算机可读介质。进行能够选择用于避免发生过热并缩短循环时间的行动信息的强化学习。行动信息学习装置具备：状态信息获取单元，获取状态信息，该状态信息包含与机床的加工有关的主轴的动作模式和参数的组合；行动信息输出单元，输出行动信息，该行动信息包含状态信息中包含的动作模式和参数的组合的调整信息；奖励计算单元，获取判定信息，并根据获取到的该判定信息输出强化学习中的奖励的值，该判定信息是关于机床的温度和与机床的加工有关的加工时间的信息；以及价值函数更新单元，通过根据奖励的值、状态信息以及行动信息进行强化学习，来更新价值函数。

主权项

1.一种行动信息学习装置，具备：状态信息获取单元，其获取状态信息，该状态信息包含与机床的加工有关的主轴的动作模式和参数的组合、即包含切削进给的速度和使主轴在指定时间内待机的暂停中的至少任一方的动作模式与包含加减速的时间常数和切削进给的速度改写中的至少任一方的参数的组合；行动信息输出单元，其输出行动信息，该行动信息包含所述状态信息中包含的所述动作模式和所述参数的组合的调整信息；奖励计算单元，其获取判定信息，并根据获取到的该判定信息输出强化学习中的奖励的值，该判定信息是关于所述机床的温度和与所述机床的所述加工有关的加工时间的信息；以及价值函数更新单元，其通过根据所述奖励的值、所述状态信息以及所述行动信息进行所述强化学习，来更新价值函数，其中，在所述机床的温度为规定的温度以上的情况下，所述奖励计算单元将所述奖励的值设为第一负的值，在所述机床的温度小于规定的温度且所述机床的加工时间比前次的加工时间短的情况下，所述奖励计算单元将所述奖励的值设为正的值，在所述机床的温度小于规定的温度且所述机床的加工时间比前次的加工时间长的情况下，所述奖励计算单元将所述奖励的值设为第二负的值。