[发明专利]行为信息学习装置、机器人控制系统及行为信息学习方法

权利要求书

1.一种行为信息学习装置，其特征在于，

该行为信息学习装置具备：

状态信息取得单元，其在机器人将从工件放置处取得的工件在交接工件的区域即工件交接区域内交接给作业人员时，取得上述机器人的状态信息；

行为信息输出单元，其输出上述状态信息的调整信息即行为信息；

回报计算单元，其将工件的交接所花费的交接时间作为判定信息，并根据上述判定信息来计算强化学习的回报的值；以及

价值函数更新单元，其根据通过上述回报计算单元计算出的上述回报的值、上述状态信息以及上述行为信息来进行上述强化学习，由此更新价值函数，

在将上述状态信息有关的上述交接时间作为前一次的交接时间，将根据上述行为信息修正了上述状态信息的修正后的状态信息有关的上述交接时间作为本次的交接时间时，

在作为上述判定信息的上述本次的交接时间比上述前一次的交接时间短时，上述回报计算单元将上述回报的值设为正的值，

在作为上述判定信息的上述本次的交接时间比上述前一次的交接时间长时，上述回报计算单元将上述回报的值设为负的值。

2.根据权利要求1所述的行为信息学习装置，其特征在于，

上述状态信息包括上述机器人的姿势以及上述工件交接区域内的交接位置所相关的信息，

上述调整信息包括用于进行与上述状态信息有关的调整的信息。

3.根据权利要求2所述的行为信息学习装置，其特征在于，

上述状态信息还包括从取得工件的位置起直到上述工件交接区域内的上述机器人的移动路径。

4.根据权利要求1～3中任意一项所述的行为信息学习装置，其特征在于，

上述交接时间由从取得工件起直到移动到上述工件交接区域内的位置为止的移动时间、以及将工件移动到上述工件交接区域内的位置后直到作业人员接受上述工件为止的开放时间而组成，

在上述交接时间变短、且上述开放时间变短的情况下，相比于上述开放时间没有变短的情况，将上述回报的值设为更大的值。

5.一种管理装置，其与包含权利要求1～4中任意一项所述的行为信息学习装置的多个行为信息学习装置可通信地连接，其特征在于，

在上述多个行为信息学习装置之间共享上述价值函数，

更新上述共享的价值函数。

6.一种机器人控制系统，具备：权利要求1～4中任意一项所述的行为信息学习装置；以及机器人控制装置，其经由通信网络与上述行为信息学习装置连接，并控制上述机器人，其特征在于，

上述行为信息学习装置具备：

行为信息生成单元，其根据由上述价值函数更新单元更新后的上述价值函数，生成用于使上述机器人的上述交接时间最短的行为信息即最佳化行为信息；以及

行为信息输出单元，其将上述行为信息生成单元生成的上述最佳化行为信息输出给上述机器人控制装置。

7.一种行为信息学习方法，其特征在于，

该方法包括以下步骤：

在机器人将从工件放置处取得的工件在交接工件的区域即工件交接区域内交接给作业人员时，由状态信息取得单元取得上述机器人的状态信息的步骤；

由行为信息输出单元输出上述状态信息的调整信息即行为信息的步骤；

由回报计算单元将工件交接所花费的交接时间作为判定信息，并根据上述判定信息计算强化学习的回报的值的步骤；以及

由价值函数更新单元根据计算出的上述回报的值、上述状态信息以及上述行为信息来进行上述强化学习，由此更新价值函数的步骤，

在将上述状态信息有关的上述交接时间作为前一次的交接时间，将根据上述行为信息修正了上述状态信息的修正后的状态信息有关的上述交接时间作为本次的交接时间时，

在作为上述判定信息的上述本次的交接时间比上述前一次的交接时间短时，上述回报计算单元将上述回报的值设为正的值，

在作为上述判定信息的上述本次的交接时间比上述前一次的交接时间长时，上述回报计算单元将上述回报的值设为负的值。