[发明专利]行为信息学习装置、机器人控制系统及行为信息学习方法

说明书

本发明提供一种行为信息学习装置、机器人控制系统及行为信息学习方法，用于使作业者容易进行与机器人的协作作业。行为信息学习装置(300)具备：状态信息取得部(310)，其在机器人(100)将从工件放置处取得的工件(7)在交接工件的区域即工件交接区域(8)内交接给作业人员(P)时，取得机器人的状态(s)；行为信息输出部(320)，其输出状态的调整信息即行为(a)；回报计算部(331)，其取得关于工件的交接所花费的交接时间(T)的信息即判定信息，并根据所取得的判定信息来计算强化学习的回报的值；以及价值函数更新部(332)，其根据回报的值、状态(s)、行为(a)进行强化学习，从而更新价值函数(Q)。

技术领域

本发明涉及行为信息学习装置、机器人控制系统以及行为信息学习方法。

背景技术

以往，有时会有机器人在与人共存的空间进行作业的情况。例如，机器人重复以下一系列的动作：将工件运到预先被编程的位置、将工件交接给作业人员、去取下一个工件。

这样，在机器人和作业人员之间进行协调作业时，机器人在由编程决定的位置和定时等进行了作业。但是，这种情况下，有时会有由于交接位置和定时的不同而对作业人员来说难以接受的情况、难以开始下一个作业的情况。

这里公开了用于使机器人作业最佳化的装置(例如参照专利文献1)。

专利文献1：日本特开2009-125920号公报

发明内容

为了使机器人进行最佳的处理，需要再次进行编程并示教交接位置等，但是对于以试错的方式来找出最佳的位置等，是受限制的。

本发明鉴于上述课题而进行，其目的为，提供一种用于使作业人员容易进行与机器人的协作作业的行为信息学习装置、机器人控制系统以及行为信息学习方法。

(1)本发明的行为信息学习装置(例如后述的行为信息学习装置300)具备：状态信息取得单元(例如后述的状态信息取得部310)，其在机器人(例如后述的机器人100)将从工件放置处取得的工件(例如后述的工件7)在交接工件的区域即工件交接区域(例如后述的交接区域8)内交接给作业人员(例如后述的作业人员P)时，取得上述机器人的状态信息(例如后述的状态s)；行为信息输出单元(例如后述的行为信息输出部320)，其输出上述状态信息的调整信息即行为信息(例如后述的行为a)；回报计算单元(例如后述的回报计算部331)，其取得关于工件的交接所花费的交接时间(例如后述的交接时间T)的信息即判定信息，并根据所取得的上述判定信息来计算强化学习中的回报的值；以及价值函数更新单元(例如后述的价值函数更新部332)，其根据通过上述回报计算单元计算出的上述回报的值、上述状态信息、上述行为信息进行上述强化学习，从而更新价值函数(例如后述的价值函数Q)。

(2)在(1)记载的行为信息学习装置中，上述状态信息包括上述机器人的姿势以及上述工件交接区域内的交接位置相关的信息，上述调整信息可以包括用于进行关于上述状态信息的调整的信息。

(3)在(2)记载的行为信息学习装置中，上述状态信息还可以包括从取得了工件的位置到上述工件交接区域内的上述机器人的移动路径。

(4)在(1)～(3)中的任意一项记载的行为信息学习装置中，上述回报计算单元在上述交接时间比前一次的交接时间短时，将上述回报的值设为正的值，在上述交接时间比前一次的交接时间长时，将上述回报的值设为负的值。

(5)在(1)～(4)中的任意一项记载的行为信息学习装置中，上述交接时间由从取得工件后到移动到上述工件交接区域内的位置为止的移动时间(例如后述的移动时间T1)与将工件移动到上述工件交接区域内的位置后到作业人员接受上述工件为止的开放时间(例如后述的开放时间T2)组成，当上述交接时间相同的情况下，相比于上述移动时间短的情况，当上述开放时间短时，将上述回报的值设为更大的值。