[发明专利]机器学习装置、控制装置以及机器学习方法

权利要求书

1.一种机器学习装置，其在激光加工机中进行用于对加工对象物的加工进行控制的至少包含激光扫描的待机时间的加工条件的机器学习，

其特征在于，

所述机器学习装置具备：

行为输出部，其从多个加工条件中选择加工条件来作为行为，并向所述激光加工机输出行为；

状态取得部，其取得对通过所述行为加工后的加工对象物的加工状态进行拍摄而得到的图像数据来作为状态信息；

回报计算部，其至少根据所述激光扫描的待机时间以及基于由所述状态取得部取得的所述状态信息而计算出的所述加工状态的加工精度来计算回报；以及

学习部，其根据由所述状态取得部取得的所述状态信息以及由所述回报计算部计算出的所述回报来进行所述加工条件的机器学习。

2.根据权利要求1所述的机器学习装置，其特征在于，

所述加工状态包含从加工开始到加工结束之间的加工途中的1个以上的加工状态，所述加工条件包含分别与所述加工途中的加工状态对应的加工条件。

3.根据权利要求1或2所述的机器学习装置，其特征在于，

所述机器学习装置具备：

状态回报计算部，其根据基于所述状态取得部取得的所述状态信息计算出的所述加工状态的加工精度来计算所述行为的状态回报；以及

行为回报计算部，其计算至少基于所述行为中包含的激光扫描的待机时间来计算的所述行为的行为回报，

所述回报计算部基于所述状态回报和所述行为回报来计算所述行为的回报。

4.根据权利要求3所述的机器学习装置，其特征在于，

所述状态回报计算部根据将所述状态取得部取得的所述状态信息输入给自动编码器而输出的重构图像数据，来计算所述加工状态的加工精度，其中，所述自动编码器是仅根据拍摄加工精度高的加工对象物的加工状态而得到的图像数据进行学习而得到的自动编码器。

5.根据权利要求1至4中的任意一项所述的机器学习装置，其特征在于，

所述行为输出部根据用于从多个加工条件中选择1个加工条件来作为行为的对策，向所述激光加工机输出行为，

所述学习部根据由所述状态取得部取得的多个所述状态信息和由所述回报计算部计算出的多个行为回报，来进行所述对策的评价和改善。

6.根据权利要求1至5中的任意一项所述的机器学习装置，其特征在于，

所述机器学习装置具备最优化行为输出部，该最优化行为输出部根据所述学习部的学习结果，对所述激光加工机输出所述加工条件。

7.根据权利要求1至6中的任意一项所述的机器学习装置，其特征在于，

多个所述机器学习装置经由网络分散地执行所述加工条件的机器学习。

8.根据权利要求1至7中的任意一项所述的机器学习装置，其特征在于，

所述学习部进行基于演员评论家算法的强化学习。

9.一种控制装置，其特征在于，具备：

权利要求1～8中的任意一项所述的机器学习装置；以及

控制部，其根据所述加工条件来控制激光加工机。

10.一种机器学习方法，其由计算机实现，在激光加工机中进行用于对加工对象物的加工进行控制的至少包含激光扫描的待机时间的加工条件的机器学习，

其特征在于，

从多个加工条件中选择加工条件来作为行为，向所述激光加工机输出行为，

取得对通过所述行为加工后的加工对象物的加工状态进行拍摄而得到的图像数据，来作为状态信息，

至少根据所述激光扫描的待机时间以及基于所取得的所述状态信息计算出的所述加工状态的加工精度来计算回报，

根据所取得的所述状态信息以及计算出的所述回报来进行所述加工条件的机器学习。