[发明专利]ETA的预测方法、模型训练方法、装置及存储介质

权利要求书

1.一种预计到达时间ETA的预测方法，其特征在于，包括：

获取目标用户在当前时间步的行程特征；所述行程特征包括所述当前时间步对应的时刻以及剩余导航路线的路线特征；

将所述目标用户在当前时间步的行程特征输入至预先训练的ETA预测模型，获得所述ETA预测模型输出的所述当前时间步的ETA；

其中，所述ETA预测模型在训练时的奖励值函数的输入包括训练样本的实际到达时间ATA以及每一时间步的历史预测ETA序列，所述奖励值函数的输出用于表征对所述每一时间步的预测ETA的准确性的评价结果；

所述历史预测ETA序列包括所述每一时间步之前的至少一个时间步的预测ETA；所述每一时间步的预测ETA是根据所述ETA预测模型的策略函数在强化学习过程中根据所述每一时间步的所述行程特征预测出的ETA的概率分布获得的。

2.根据权利要求1所述的预计到达时间ETA的预测方法，其特征在于，所述将所述目标用户在当前时间步的行程特征输入至预先训练的ETA预测模型，获得所述ETA预测模型输出的所述当前时间步的ETA，包括：

对所述当前时间步的行程特征进行编码，获得当前时间步的特征向量；

将所述当前时间步的特征向量输入至所述策略函数，获得所述策略函数输出的当前时间步的ETA的概率分布；

根据所述当前时间步的ETA的概率分布进行采样，基于采样结果，得到当前时间步的ETA。

3.根据权利要求1所述的预计到达时间ETA的预测方法，其特征在于，所述ETA预测模型通过如下方式训练得到：

获取所述训练样本的每一时间步的行程特征以及ATA；

将所述每一时间步的行程特征输入至待训练的ETA预测模型的策略函数，获得所述策略函数输出的所述每一时间步的ETA的概率分布；

根据所述ETA的概率分布进行采样，获得所述每一时间步的预测ETA；

将所述ATA以及每一时间步的历史预测ETA序列输入所述奖励值函数，获得所述奖励值函数输出的所述每一时间步的奖励值；

根据所述每一时间步的奖励值以及预测ETA的概率分布，对所述策略函数的参数进行训练，将训练完成的策略函数作为训练后的ETA预测模型。

4.根据权利要求3所述的预计到达时间ETA的预测方法，其特征在于，所述将所述ATA以及每一时间步的历史预测ETA序列输入所述奖励值函数，获得所述奖励值函数输出的所述每一时间步的奖励值，包括：

将所述每一时间步的预测ETA与所述ATA输入至所述奖励值函数，获得所述奖励值函数输出的所述每一时间步的预测ETA的准确性奖励值；所述准确性奖励值用于表征所述每一时间步的预测ETA的准确程度；

将所述每一时间步的预测ETA与历史预测ETA序列输入至所述奖励值函数，获得所述奖励值函数输出的所述每一时间步的平稳性奖励值；所述平稳性奖励值用于表征所述每一时间步的预测ETA相对于所述历史预测ETA序列的平稳下降程度；

结合所述每一时间步的准确性奖励值和平稳性奖励值，获得所述每一时间步的奖励值。

5.根据权利要求3所述的预计到达时间ETA的预测方法，其特征在于，所述根据所述每一时间步的奖励值以及预测ETA的概率分布，对所述策略函数的参数进行训练，包括：

根据所述每一时间步之后的所有时间步的奖励值之和，获得所述每一时间步的累加奖励值；

根据所述每一时间步的累加奖励值以及ETA的概率分布，通过梯度下降法对所述策略函数的参数进行训练。

6.根据权利要求3至5任意一项所述的预计到达时间ETA的预测方法，其特征在于，所述对所述策略函数的参数进行训练，包括：

将所述策略函数的所有参数划分为第一组参数和第二组参数，所述第一组参数和所述第二组参数中不存在相同的参数；

根据所述行程特征生成特征向量；

根据所述特征向量与所述第一组参数的内积拟合正态分布的均值，根据所述特征向量与所述第二组参数的内积拟合正态分布的标准差，以完成对所述策略函数的参数的训练。