[发明专利]通过具有不确定性估计的强化学习的战术决策制定

权利要求书

1.一种使用强化学习RL代理控制自主车辆的方法(100)，所述方法包括：

多个训练会话(110-1，…，110-K)，其中，所述RL代理与包括所述自主车辆的环境交互，每个训练会话具有不同的初始值，并生成取决于状态和动作的状态-动作值函数Q_k(s，a)；

决策制定(112)，其中，所述RL代理输出与所述自主车辆的控制相关的至少一个暂定决策；

基于多个状态-动作值函数的可变性度量的不确定性估计(114)，所述多个状态-动作值函数针对与所述暂定决策中的每个相对应的状态-动作对来评估；以及

车辆控制(116)，其中，依赖于所估计的不确定性来执行所述至少一个暂定决策。

2.根据权利要求1所述的方法，其中，仅当所估计的不确定性小于预定阈值时，执行暂定决策。

3.根据权利要求2所述的方法，其中：

所述决策制定包括所述RL代理输出多个暂定决策；以及

所述车辆控制包括相对于其的所估计的不确定性对所述暂定决策的顺序评估。

4.根据权利要求3所述的方法，其中，如果所述顺序评估没有返回待执行的暂定决策，则执行后备决策。

5.根据前述权利要求中任一项所述的方法，其中，所述决策制定包括战术决策制定。

6.根据前述权利要求中任一项所述的方法，其中，所述RL代理包括至少一个神经网络。

7.根据权利要求6所述的方法，其中，通过诸如参与者-评价者算法的策略梯度算法来获得所述RL代理。

8.根据权利要求6所述的方法，其中，所述RL代理是诸如深度Q网络DQN的Q学习代理。

9.根据权利要求6至8中任一项所述的方法，其中，所述训练会话使用相同数量的神经网络。

10.根据权利要求6至9中任一项所述的方法，其中，所述初始值对应于随机先验函数(RPF)。

11.根据前述权利要求中任一项所述的方法，其中，所述决策制定基于所述多个状态-动作值函数的中心趋势。

12.根据前述权利要求中任一项所述的方法，其中，所述可变性度量是以下的一个或多个：方差、范围、偏差、变异系数、熵。

13.一种用于控制自主车辆(299)的装置(200)，包括：处理电路(210)和存储器(212)，所述处理电路和所述存储器实现强化学习RL代理(220)，所述强化学习RL代理被配置为：

-在多个训练会话中与包括所述自主车辆的环境交互，每个训练会话具有不同的初始值，并生成取决于状态和动作的状态-动作值函数Q_k(s，a)，以及

-输出与所述自主车辆的控制相关的至少一个暂定决策，

所述处理电路和存储器进一步实现不确定性估计器(222)，所述不确定性估计器(222)被配置为基于多个状态-动作值函数的可变性度量来估计不确定性，所述多个状态-动作值函数由所述RL代理针对与所述暂定决策中的每个相对应的状态-动作对来评估，

所述装置进一步包括：

车辆控制接口(214)，所述车辆控制接口(214)被配置为通过依赖于所估计的不确定性执行所述至少一个暂定决策来控制所述自主车辆。

14.一种计算机程序，所述计算机程序包括使得根据权利要求13所述的装置执行根据权利要求1至12中任一项所述的方法的指令。

15.一种载有根据权利要求14所述的计算机程序的数据载体。