[发明专利]控制装置以及机器学习装置

权利要求书

1.一种控制装置，其指示由配备机器人进行的部件配备场所中的部件的配置，其特征在于，

所述控制装置具有：机器学习装置，其学习由所述配备机器人进行的所述部件配备场所中的部件配置，

所述机器学习装置具有：

状态观测部，其观测表示环境的当前状态的状态变量，所述状态变量包含表示所述部件配备场所中的所述部件的配置的部件配置数据、表示所述部件的信息的部件数据、以及表示由所述部件组装产品的作业员的状态信息的作业员状态数据；

判定数据取得部，其取得判定根据所述部件的配置来组装好的所述产品的质量的产品质量判定数据以及判定所述产品的组装的间歇时间的间歇时间判定数据，作为表示由所述作业员进行的产品的组装的适当与否判定结果的判定数据，所述产品的质量的判定基准包括部件的安装偏差、部件的安装错误、忘记螺丝、部件的丢失；以及

学习部，其使用所述状态变量和所述判定数据，将用于组装所述产品的所述部件的信息和所述作业员的状态信息与所述部件配备场所中的所述部件的配置关联起来进行学习。

2.根据权利要求1所述的控制装置，其特征在于，

所述学习部具有：回报计算部，其求出与所述适当与否判定结果相关联的回报；以及

价值函数更新部，其使用所述回报，更新表示针对用于组装所述产品的所述部件的信息和所述作业员的状态信息的、所述部件配备场所中的所述部件的配置的价值的函数，

所述产品的质量越高和所述间歇时间越短，所述回报计算部越是给予高的回报。

3.根据权利要求1或2所述的控制装置，其特征在于，

所述学习部通过多层结构来运算所述状态变量和所述判定数据。

4.一种控制装置，其指示由配备机器人进行的部件配备场所中的部件的配置，其特征在于，

所述控制装置具有：机器学习装置，其学习基于所述配备机器人的所述部件配备场所中的部件配置，

所述机器学习装置具有：

状态观测部，其观测表示环境的当前状态的状态变量，所述状态变量包含表示所述部件配备场所中的所述部件的配置的部件配置数据、表示所述部件的信息的部件数据、以及表示由所述部件组装产品的作业员的状态信息的作业员状态数据；

学习部，其将用于组装所述产品的所述部件的信息和所述作业员的状态信息与所述部件配备场所中的所述部件的配置关联起来进行学习；以及

决策部，其根据所述状态观测部观测到的状态变量和所述学习部的学习结果，来决定所述部件配备场所中的所述部件的配置。

5.根据权利要求1、2、4中任一项所述的控制装置，其特征在于，

所述机器学习装置存在于云服务器。

6.一种机器学习装置，其学习由配备机器人所进行的部件配备场所中的部件配置，其特征在于，

所述机器学习装置具有：

状态观测部，其观测表示环境的当前状态的状态变量，所述状态变量包含表示所述部件配备场所中的所述部件的配置的部件配置数据、表示所述部件的信息的部件数据、以及表示由所述部件组装产品的作业员的状态信息的作业员状态数据；

判定数据取得部，其取得判定根据所述部件的配置来组装出的所述产品的质量的产品质量判定数据、以及判定所述产品的组装的间歇时间的间歇时间判定数据，作为表示由所述作业员所进行的产品的组装的适当与否判定结果的判定数据，所述产品的质量的判定基准包括部件的安装偏差、部件的安装错误、忘记螺丝、部件的丢失；以及

学习部，其使用所述状态变量与所述判定数据，将用于组装所述产品的所述部件的信息和所述作业员的状态信息与所述部件配备场所中的所述部件的配置关联起来进行学习。

7.一种机器学习装置，其学习由配备机器人所进行的部件配备场所中的部件配置，其特征在于，

所述机器学习装置具有：

状态观测部，其观测表示环境的当前状态的状态变量，所述状态变量包含表示所述部件配备场所中的所述部件的配置的部件配置数据、表示所述部件的信息的部件数据、以及表示由所述部件组装产品的作业员的状态信息的作业员状态数据；

学习部，其将用于组装所述产品的所述部件的信息和所述作业员的状态信息与所述部件配备场所中的所述部件的配置关联起来进行学习；以及

决策部，其根据所述状态观测部观测到的状态变量和所述学习部的学习结果，来决定所述部件配备场所中的所述部件的配置。