[发明专利]车辆自动驾驶控制策略模型生成方法、装置、设备及介质

权利要求书

1.一种车辆自动驾驶控制策略模型生成方法，其特征在于，所述方法包括下述步骤：

采集当前试验时刻试验车辆的驾驶状态信息，根据预先构建的贝叶斯网络，在预设的车辆动作集合中筛选出所述驾驶状态信息关联的车辆动作；

根据预先构建的奖励回报函数，在所述驾驶状态信息关联的车辆动作中确定所述驾驶状态信息对应的最大回报值动作；

向所述试验车辆发送所述最大回报值动作，并将所述驾驶状态信息、所述最大回报值动作以及所述最大回报值动作的回报值组合成训练样本；

判断所述试验车辆的试验是否结束，是则根据不同试验时刻的所述训练样本和预设的深度学习算法，对用于车辆自动驾驶的控制策略模型进行训练，以得到训练好的、用于车辆自动驾驶的控制策略模型，否则跳转至采集当前试验时刻试验车辆的驾驶状态信息的步骤。

2.如权利要求1所述的方法，其特征在于，采集当前试验时刻试验车辆的驾驶状态信息的步骤之前，所述方法还包括：

对预先收集的车辆驾驶经验数据中驾驶状态信息下的车辆动作进行概率主观估计，生成所述贝叶斯网络。

3.如权利要求1所述的方法，其特征在于，在预设的车辆动作集合中筛选出所述驾驶状态信息关联的车辆动作的步骤，包括：

通过所述贝叶斯网络确定在所述驾驶状态信息下所述车辆动作集合中不同车辆动作的出现概率；

将所述出现概率超过预设概率阈值的车辆动作设置为所述驾驶状态信息关联的车辆动作。

4.如权利要求1所述的方法，其特征在于，在所述驾驶状态信息关联的车辆动作中确定所述驾驶状态信息对应的最大回报值动作的步骤，包括：

通过所述奖励回报函数，计算在所述驾驶状态信息下执行所述驾驶状态信息关联的车辆动作所获得的回报值；

将所述驾驶状态信息关联的车辆动作中获得回报值最大的车辆动作设置为所述驾驶状态信息对应的最大回报值动作。

5.如权利要求1所述的方法，其特征在于，对用于车辆自动驾驶的控制策略模型进行训练的步骤，包括：

计算不同试验时刻的所述训练样本所对应的累计回报值；

根据所述深度学习算法、所述训练样本和所述训练样本对应的累计回报值，对所述控制策略模型进行有监督训练。

6.一种车辆自动驾驶控制策略模型生成装置，其特征在于，所述装置包括：

采集筛选单元，用于采集当前试验时刻试验车辆的驾驶状态信息，根据预先构建的贝叶斯网络，在预设的车辆动作集合中筛选出所述驾驶状态信息关联的车辆动作；

动作确定单元，用于根据预先构建的奖励回报函数，在所述驾驶状态信息关联的车辆动作中确定所述驾驶状态信息对应的最大回报值动作；

样本生成单元，用于向所述试验车辆发送所述最大回报值动作，并将所述驾驶状态信息、所述最大回报值动作以及所述最大回报值动作的回报值组合成训练样本；以及

模型训练单元，用于判断所述试验车辆的试验是否结束，是则根据不同试验时刻的所述训练样本和预设的深度学习算法，对用于车辆自动驾驶的控制策略模型进行训练，以得到训练好的、用于车辆自动驾驶的控制策略模型，否则触发所述采集筛选单元执行采集当前试验时刻试验车辆的驾驶状态信息的步骤。

7.如权利要求6所述的装置，其特征在于，所述装置还包括：

概率估计单元，用于对预先收集的车辆驾驶经验数据中驾驶状态信息下的车辆动作进行概率主观估计，生成所述贝叶斯网络。

8.如权利要求6所述的装置，其特征在于，所述采集筛选单元包括：

动作概率确定单元，用于通过所述贝叶斯网络确定在所述驾驶状态信息下所述车辆动作集合中不同车辆动作的出现概率；以及

关联动作确定单元，用于将所述出现概率超过预设概率阈值的车辆动作设置为所述驾驶状态信息关联的车辆动作。

9.一种车载设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。