[发明专利]油门灵敏度控制模型的训练方法、灵敏度控制方法及装置

权利要求书

1.一种油门灵敏度控制模型的训练方法，其特征在于，所述方法包括：

获得多个采样数据，每个采样数据包括：样本车辆在第一时刻的驾驶数据，其中，驾驶数据包含：车辆状态数据和/或驾驶员操作数据；

基于所述多个采样数据进行强化学习，获得所述油门灵敏度控制模型，其中，所述油门灵敏度控制模型用于基于车辆的驾驶数据确定车辆的油门灵敏度状态，所述油门灵敏度状态用于表征油门踏板深度值与油门动力输出值的关系。

2.如权利要求1所述的方法，其特征在于，所述基于所述多个训练数据进行强化学习，获得所述油门灵敏度控制模型，包括：

构建初始化的强化学习模型，所述强化学习模型包含：初始策略网络、初始评价网络、目标策略网络、目标评价网络，对所述初始策略网络与所述目标策略网络赋予相同的参数，对所述目标策略网络与所述目标评价网络赋予相同的参数；

针对所述多个采样数据中的每个采样数据执行以下动作以获得多组训练数据：将样本车辆在第一时刻的驾驶数据输入所述初始策略网络，获得初始驾驶动作；执行所述初始驾驶动作，确定所述初始驾驶动作对应的奖励值和样本车辆在第一时刻的下一时刻的驾驶数据；其中，所述初始驾驶动作包含：油门踏板输入值和油门动力输出值，每组训练数据包含：初始驾驶数据、初始驾驶动作、所述初始驾驶动作对应的奖励值、目标驾驶数据，所述初始驾驶数据为样本车辆在第一时刻的驾驶数据，所述目标驾驶数据为样本车辆在第一时刻的下一时刻的驾驶数据；

通过所述多组训练数据对所述初始化的强化学习模型进行训练，以获得所述油门灵敏度控制模型。

3.如权利要求2所述的方法，其特征在于，所述通过所述多组训练数据对所述初始化的强化学习模型进行训练，包括：

从所述多组训练数据中获取预设数量的训练数据；

将所述预设数量的训练数据中的所述初始驾驶动作以及所述初始驾驶数据输入所述初始评价网络，确定初始状态动作价值；

将所述预设数量的训练数据中的所述目标驾驶数据输入所述目标策略网络，获取所述目标驾驶数据对应的目标驾驶动作；将所述目标驾驶数据以及所述目标驾驶动作输入目标评价网络，确定所述目标驾驶数据对应的目标状态动作价值；

根据所述奖励值、所述初始状态动作价值和所述目标状态动作价值对所述初始评价网络的参数进行更新，根据更新后的初始评价网络的参数对所述目标评价网络的网络参数进行更新；

根据所述初始状态动作价值对所述初始策略网络的参数进行更新，根据更新后的初始策略网络的参数对所述目标策略网络的参数进行更新，直至达到模型训练结束条件，从而获得所述油门灵敏度控制模型。

4.根据权利要求2所述的方法，其特征在于，所述执行所述初始驾驶动作，确定所述初始驾驶动作对应的奖励值，包括：

执行所述初始驾驶动作之后，确定样本车辆的驾驶习惯适应性指标、驾驶安全性指标、驾驶舒适性指标、经济性指标；

基于样本车辆的驾驶习惯适应性指标、驾驶安全性指标、驾驶舒适性指标、经济性指标确定所述奖励值。

5.根据权利要求4所述的方法，其特征在于，所述确定所述样本车辆的驾驶习惯适应性指标、驾驶安全性指标、驾驶舒适性指标、经济性指标，包括：

根据所述样本车辆在第一时刻的下一时刻的驾驶数据对应的第二纵向加速度决策以及所述样本车辆在第一时刻的驾驶数据对应的第一纵向加速度决策；根据所述第一纵向加速度决策、第二纵向加速度决策以及适应性权重系数，获取所述样本车辆的驾驶习惯适应性指标；

根据所述第一时刻的下一时刻时所述样本车辆与前车之间对应的车间距误差、车间距误差对应的车间距误差权重系数、所述第一时刻的下一时刻时所述样本车辆与前车之间相对车速以及相对车速对应的相对车速权重系数，获取所述样本车辆的驾驶安全性指标；

根据所述第一纵向加速度决策、所述第一时刻的上一时刻对应的纵向加速度以及所述第一时刻的上一时刻与所述第一时刻之间的时间差，获取所述样本车辆的驾驶舒适性指标；

根据预设历史时长内的样本车辆的车辆加速度矩阵、所述车辆加速度矩阵的逆矩阵以及经济性权重系数，获取所述车辆的经济性指标。