[发明专利]学习装置、控制装置、学习方法以及计算机可读存储介质

说明书

本发明涉及学习装置、控制装置、学习方法以及计算机可读存储介质，既能降低对在用于使控制模块学会控制机器人装置的能力的机器学习中所利用的学习数据进行收集的成本，又能通过所述机器学习来构建可在实际环境下运用的控制模块。本发明的一方面的学习装置利用包含模拟数据及第一环境信息的组合的第一学习数据集、与包含实际数据及第二环境信息的组合的第二学习数据集，来实施提取器的机器学习。而且，本发明的一方面的学习装置利用包含第三环境信息及状态信息与控制命令的组合的第三学习数据集，来实施控制器的机器学习。

技术领域

本发明涉及一种学习装置、控制装置、学习方法以及计算机可读存储介质。

背景技术

近年，在制造制品的生产线中，开发出一种技术：利用从摄像机等传感器获得的传感器数据，来控制机械手(robot hand)等工业机器人的动作。例如，专利文献1中提出了一种机器学习装置，其利用表示进行印刷板组装作业的环境状态的状态变量及被安装在基板的电子零件的配置的适当与否的判定结果，将针对供给至工业机械的指令值的修正值与从基板的基准形状计起的变形量相关联地进行学习。

现有技术文献

专利文献

专利文献1：日本专利特开2018-107315号公报

发明内容

发明所要解决的问题

本申请发明人等发现：在利用专利文献1那样的机器学习来构建用于对生产线上的工业机器人进行控制的控制模块时，存在如下所述的问题。为了实施机器学习，要使用工业机器人的实机来收集学习数据。例如设想实施用于学会下述能力的机器学习，即，根据由传感器所获得的传感器数据来导出控制命令。此时，要收集学习数据集，所述学习数据集包含从实机获得的传感器数据及表示实机状态的状态信息与在此状况下使实机执行的控制命令的组合。各学习数据集中，传感器数据及状态信息被用作训练数据(输入数据)，控制命令被用作正解数据(教学数据)。通过利用所述学习数据集的机器学习，能够构建学会了下述能力的控制模块，即，当给予传感器数据及状态信息时，决定适合于由所给予的传感器数据及状态信息所示的状况的控制命令。但是，利用实机来收集足够件数的学习数据集要耗费时间及劳力的成本。除此以外，在收集学习数据集的过程中，会产生实机发生破损等风险。

因此，本申请发明人等为了解决此种问题，研究了利用模拟器(simulator)来收集学习数据。若利用模拟器，则能够使收集学习数据的作业大部分自动化，因此能够抑制收集学习数据耗费的成本。除此以外，由于也可不利用实机，因此能够消除所述风险。

但是，本申请发明人等发现，此种方法会产生如下所述的问题。即，通过模拟器所获得的数据与通过实机所获得的数据之间存在背离。因此，即使利用通过模拟器所获得的学习数据来实施控制模块的机器学习，也难以构建可在实际环境下运用的控制模块。除此以外，由于所述数据背离的影响，对于利用通过模拟器所获得的学习数据而构建的控制模块，难以实施利用通过实机所获得的学习数据的追加学习。因此，也难以在实际环境下可运用地修正所述控制模块。

另外，此种问题不仅会在通过机器学习来构建工业机器人的控制模块的场景下产生，在通过机器学习来构建工业机器人以外的机器人装置的控制模块的所有场景下均有可能产生。例如，在通过机器学习来构建构成为可自主运行的自主型机器人或构成为可执行自动驾驶动作的移动体的控制模块时，若利用实机来收集学习数据，则会耗费时间及劳力的成本，且产生实机破损等的风险。另一方面，在利用模拟器的情况下，难以构建可在实际环境下运用的控制模块。

本发明在一方面是有鉴于此种实际情况而完成，其目的在于提供一种技术，用于既能降低对在用于使控制模块学会控制机器人装置的能力的机器学习中所利用的学习数据进行收集的成本，又能通过所述机器学习来构建可在实际环境下运用的控制模块。

解决问题的技术手段

为了解决所述问题，本发明采用以下结构。