[发明专利]一种基于强化学习的仿生机器鼠行为交互方法及仿真系统

权利要求书

1.一种基于强化学习的仿生机器鼠行为交互方法，其特征在于，包括：

随机初始化二维决策表，所述决策表包括状态-动作组合；

根据交互对象的位置及动作，判定交互对象的当前状态；

根据上一时刻状态的价值以及当前状态的价值计算反馈值；所述反馈值的计算公式如下：

r(s，s′)＝V(s′)-V(s)-0.5

其中，r表示反馈值，s表示上一时刻状态，s'表示当前状态，V(s)表示上一时刻状态的价值，V(s')表示当前状态的价值；

基于所述反馈值，根据马尔可夫决策过程对所述决策表中对应的状态-动作组合的值进行更新；

根据∈-greedy算法从更新后的状态-动作组合中选择当前状态对应的动作；

根据选择的动作由仿真系统进行模拟实现。

2.根据权利要求1所述的基于强化学习的仿生机器鼠行为交互方法，其特征在于，所述状态集合包括：背后、左侧、右侧、远距、梳理、被梳理、攀爬、匍匐和其他9种状态；所述动作集合包括：直线前进、直线后退、原地左转、原地右转、直立、嗅探、梳理、被梳理、攀爬和匍匐共10种动作。

3.根据权利要求1所述的基于强化学习的仿生机器鼠行为交互方法，其特征在于，所述根据马尔可夫决策过程对所述决策表中对应的状态-动作组合的值进行更新的公式如下：

Q′(s,a)＝Q(s,a)+α[r+γargmaxQ(s′,a)-Q(s,a)]

其中，Q′(s,a)表示更新后的决策表，Q(s,a)表示更新前的决策表，a表示动作，α和γ均为0～1之间的常数。

4.根据权利要求1所述的基于强化学习的仿生机器鼠行为交互方法，其特征在于，所述根据∈-greedy算法从更新后的状态-动作组合中选择当前状态对应的动作，具体包括：

a、指定0～1之间的常数∈；

b、利用计算机随机数引擎生成0～1之间的随机数ra；

c、如果ra≥∈，执行步骤d；如果ra＜∈，执行步骤e；

d、在更新后的决策表中寻找当前状态对应的动作值最大的动作；

e、在动作集合中以相同的概率随机选取动作。

5.一种应用于权利要求1-4任意一项所述的基于强化学习的仿生机器鼠行为交互方法的仿真系统，其特征在于，包括：

行为决策层，用于基于强化学习的仿生机器鼠行为交互方法生成行为决策；

动作执行层，与所述行为决策层连接，用于根据所述行为决策实现仿生机器鼠模型动作模拟；

关节控制层，与所述动作执行层连接，用于实现对仿生机器鼠模型各关节的位置及速度控制。

6.根据权利要求5所述的仿真系统，其特征在于，所述机器鼠模型由两个驱动轮驱动，躯干部分为7自由度串联机械臂。