[发明专利]一种基于众包的定位指纹库更新方法及装置

权利要求书

1.一种基于众包的定位指纹库更新方法，其特征在于，包括：

初始化经验回放池；其中，所述经验回放池用于保存用户与平台之间的交易经验信息；

为每个用户初始化Online Critic网络和Online Actor网络；

利用所述Online Actor网络为每个用户生成自身的报价；

根据每个用户自身的报价，由每个用户同时执行动作，计算出每个用户购买的感知时间；

获取每个用户的交易信息以及奖励信息；

将所述交易信息以及所述奖励信息添加到经验回放池；

计算所述Online Critic网络的损失；

利用梯度下降法更新所述Online Critic网络，使用梯度上升法更新Online Actor网络，并更新Target Critic网络和Target Actor网络的参数；

当训练次数达到预设值后停止训练，得到训练结果；

根据所述训练结果进行指纹数据库更新。

2.根据权利要求1所述的一种基于众包的定位指纹库更新方法，其特征在于，所述每个用户生成自身的报价的计算公式为：

其中，代表每个用户i在当前时刻t生成自身的报价；代表Online Actor网络以为观测，以为参数的输出；μ_i代表Online Actor网络的输出；代表每个用户i根据自身在当前时刻t的观测信息；代表Online Actor网络的参数；N_t代表添加的探索噪声。

3.根据权利要求1所述的一种基于众包的定位指纹库更新方法，其特征在于，所述获取每个用户的交易信息以及奖励信息，包括：

获取所有用户在各个时刻之前的交易记录信息；

获取所有用户选择的动作信息；

获取所有用户获取的奖励信息；

获取所有用户在各个时刻之后的最新交易记录信息。

4.根据权利要求1所述的一种基于众包的定位指纹库更新方法，其特征在于，所述计算所述Online Critic网络的损失这一步骤中，所述损失的计算公式为：

其中，L_i代表用户i的critic损失；B代表每次训练采样的批量大小；代表利用时序差分法计算的目标Q值；代表当前网络以o^b，a^b为输入，以为参数的Q值输出；Q_i代表critic网络的输出；o^b代表样本b的观测；a^b代表样本b中的动作；代表onlinecritic网络的参数。