[发明专利]一种汽车的自动驾驶方法及装置

权利要求书

1.一种汽车的自动驾驶方法，其特征在于，所述方法包括下述步骤：

通过汽车上预设的传感器获取所述汽车当前位置的汽车状态；

根据所述汽车状态和预先建立的策略网络模型，获取所述汽车当前可用驾驶动作的回报值，所述策略网络模型通过预设的深度强化学习算法建立；

将所述回报值中的最大回报值对应的当前可用驾驶动作设置为所述汽车下一执行动作并执行。

2.如权利要求1所述的方法，其特征在于，根据所述汽车状态和预先建立的策略网络模型，获取所述汽车当前可用驾驶动作的回报值的步骤之前，所述方法还包括：

A、对设置的所述策略网络模型进行初始化，设定汽车驾驶动作的立即回报函数，并对所述立即回报函数的回报值进行初始化；

B、接收所述汽车当前训练状态的样本，根据所述当前训练状态以及所述立即回报函数计算汽车的动作集中每个驾驶动作的立即回报值，获取立即回报值中的最大立即回报值；

C、将所述汽车状态和通过预设方式选择的驾驶动作作为所述策略网络模型的输入值，将所述最大立即回报值和所述策略网络模型不同驾驶动作下的最大回报值的累计折算值之和作为输出值，对所述策略网络模型进行训练，并更新所述策略网络模型的权值；

D、根据所述当前训练状态和所述立即回报值对应的驾驶动作，获取所述汽车的下一状态，判断所述下一状态是否为终止训练状态，是则返回所述策略网络模型，否则将所述下一状态设置为当前训练状态的样本并传送给步骤B。

3.如权利要求2所述的方法，其特征在于，对所述策略网络模型进行训练的步骤，包括：

通过后向传播算法对所述策略网络模型进行训练。

4.如权利要求2所述的方法，其特征在于，所述选择的驾驶动作通过下述方式选择：

随机选取任一驾驶动作作为选择的驾驶动作，否则将所述最大回报值对应的驾驶动作作为选择的驾驶动作。

5.如权利要求2所述的方法，其特征在于，根据所述当前训练状态以及所述立即回报函数计算汽车的动作集中每个驾驶动作的立即回报值的步骤，包括：

根据所述当前训练状态对所述汽车的动作集中的驾驶动作进行筛选，根据所述当前训练状态以及所述立即回报函数计算筛选后的每个驾驶动作的立即回报值。

6.一种汽车的自动驾驶装置，其特征在于，所述装置包括：

状态获取单元，用于通过汽车上预设的传感器获取所述汽车当前位置的汽车状态；

回报值获取单元，用于根据所述汽车状态和预先建立的策略网络模型，获取所述汽车当前可用驾驶动作的回报值，所述策略网络模型通过预设的深度强化学习算法建立；以及

动作执行单元，用于将所述回报值中的最大回报值对应的当前可用驾驶动作设置为所述汽车下一执行动作并执行。

7.如权利要求6所述的装置，其特征在于，所述装置还包括：

初始化单元，用于对设置的所述策略网络模型进行初始化，设定汽车驾驶动作的立即回报函数，并对所述立即回报函数的回报值进行初始化；

最大值获取单元，用于接收所述汽车当前训练状态的样本，根据所述当前训练状态以及所述立即回报函数计算汽车的动作集中每个驾驶动作的立即回报值，获取立即回报值中的最大立即回报值；

权值更新单元，用于将所述汽车状态和通过预设方式选择的驾驶动作作为所述策略网络模型的输入值，将所述最大立即回报值和所述策略网络模型不同驾驶动作下的最大回报值的累计折算值之和作为输出值，对所述策略网络模型进行训练，并更新所述策略网络模型的权值；以及

结果处理单元，用于根据所述当前训练状态和所述立即回报值对应的驾驶动作，获取所述汽车的下一状态，判断所述下一状态是否为终止训练状态，是则返回所述策略网络模型，否则将所述下一状态设置为当前训练状态的样本并传送给所述最大值获取单元。

8.如权利要求7所述的装置，其特征在于，所述权值更新单元包括：

模型训练单元，用于通过后向传播算法对所述策略网络模型进行训练。

9.如权利要求7所述的装置，其特征在于，所述装置还包括：

动作筛选单元，用于随机选取任一驾驶动作作为选择的驾驶动作，否则将所述最大回报值对应的驾驶动作作为选择的驾驶动作。

10.如权利要求7所述的装置，其特征在于，所述最大值获取单元包括：

回报值计算单元，用于根据所述当前训练状态对所述汽车的动作集中的驾驶动作进行筛选，根据所述当前训练状态以及所述立即回报函数计算筛选后的每个驾驶动作的立即回报值。