[发明专利]常规化时空调度价值估计

权利要求书

1.一种用于评估订单调度政策的系统，所述系统包括：

用于生成与驾驶员相关联的历史驾驶员数据的计算装置；

至少一个处理器；以及

存储指令的存储器，指令当由所述至少一个处理器执行时使所述至少一个处理器执行操作，所述操作包括：

获得所生成的与驾驶员相关联的历史驾驶员数据，

至少部分地基于所获得的历史驾驶员数据来估计与多个订单调度政策相关联的价值函数，以及

确定最佳订单调度政策，最佳订单调度政策与估计出的价值函数的最大值相关联。

2.根据权利要求1所述的系统，其中，所生成的历史驾驶员数据包括与驾驶员相关联的环境状态，环境状态包括驾驶员的时空状态和情境特征向量，情境特征向量与驾驶员的时空状态相关联。

3.根据权利要求2所述的系统，其中，情境特征向量指示出驾驶员的时空状态的附近的静态属性和供求信息。

4.根据权利要求2所述的系统，其中，所生成的历史驾驶员数据进一步包括驾驶员可用的选项，选项指示出驾驶员从第一时空状态过渡到第二时空状态，第二时空状态在时间上比第一时空状态更晚。

5.根据权利要求4所述的系统，其中，所生成的历史驾驶员数据进一步包括奖励，奖励指示出驾驶员从第一时空状态过渡到第二时空状态的持续时间内的总回报。

6.根据权利要求1所述的系统，其中，估计与多个订单调度政策相关联的价值函数进一步包括迭代地纳入训练数据并在每个迭代中更新价值函数的估计。

7.根据权利要求6所述的系统，其中，在每个迭代中更新价值函数的估计应用前馈中性网络。

8.根据权利要求7所述的系统，其中，前馈中性网络通过可训练权重矩阵进行参数化。

9.根据权利要求8所述的系统，其中，估计与多个订单调度政策相关联的价值函数进一步包括定期同步权重矩阵。

10.根据权利要求7所述的系统，其中，前馈中性网络包括惩罚参数和惩罚项。

11.一种评估订单调度政策的方法，所述方法包括：

生成与驾驶员相关联的历史驾驶员数据；

至少部分地基于所生成的历史驾驶员数据来估计与多个订单调度政策相关联的价值函数；以及

确定最佳订单调度政策，最佳订单调度政策与估计出的价值函数的最大值相关联。

12.根据权利要求11所述的系统，其中，所生成的历史驾驶员数据包括与驾驶员相关联的环境状态，环境状态包括驾驶员的时空状态和情境特征向量，情境特征向量与驾驶员的时空状态相关联。

13.根据权利要求12所述的系统，其中，情境特征向量指示出驾驶员的时空状态的附近的静态属性和供求信息。

14.根据权利要求12所述的系统，其中，所生成的历史驾驶员数据进一步包括驾驶员可用的选项，选项指示出驾驶员从第一时空状态过渡到第二时空状态，第二时空状态在时间上比第一时空状态更晚。

15.根据权利要求14所述的系统，其中，所生成的历史驾驶员数据进一步包括奖励，奖励指示出驾驶员从第一时空状态过渡到第二时空状态的持续时间内的总回报。

16.根据权利要求11所述的系统，其中，估计与多个订单调度政策相关联的价值函数进一步包括迭代地纳入训练数据并在每个迭代中更新价值函数的估计。

17.根据权利要求16所述的系统，其中，在每个迭代中更新价值函数的估计应用前馈中性网络。