[发明专利]一种基于众包的定位指纹库更新方法及装置

说明书

本发明公开了一种基于众包的定位指纹库更新方法及装置，方法包括：初始化经验回放池；初始化Online Critic网络和Online Actor网络，生成每个用户自身的报价；根据报价执行动作，计算出每个用户购买的感知时间；获取每个用户的交易信息以及奖励信息后添加到经验回放池；计算Online Critic网络的损失；更新Online Critic网络、Online Actor网络、Target Critic网络和Target Actor网络的参数；当训练次数达到预设值后停止训练，最后进行指纹数据库更新。本发明的可扩展性高且开销小，可广泛应用于数据处理技术领域。

技术领域

本发明涉及数据处理技术领域，尤其是一种基于众包的定位指纹库更新方法及装置。

背景技术

目前的全球定位系统可以提供较高精度的室外定位信息，但当定位目标活动到室内区域，这些卫星定位技术无法再提供高精度的位置信息，为满足大量基于室内位置的服务，如人员逃生，室内定位技术应运而生。

如今的室内人员定位技术普遍基于蓝牙或WIFI技术，通过在目标区域设置采样点，并收集各AP接入点的接收信号强度(Received Signal Strength，RSS)，到达时间(Timeof Arrival，ToA)值作为特征，把当前位置作为标签，构建大规模的位置指纹库，用于后期定位模型的训练和人员位置的匹配。但这种方法需要大量的现场勘测数据构建指纹数据库，目前使用人工勘测构建指纹数据库的过程中需要专业人士携带专用设备对目标区域进行逐一感知，成本较高，耗时较长。同时，由于室内环境多变，指纹库需要定期更新，人工数据采集需要定期进行，成本巨大。

一个有效的解决方案是利用“众包”模型来完成指纹数据库的更新，即招募一部分移动用户携带感知设备收集定位数据，如RSS值，ToA值和当前位置信息等，但现阶段的“众包”模型存在如下缺陷：

1.奖励设置单一，用户积极性低。“众包”平台在任务完成后平分奖励给所有参与的用户，但由于传感器精度、参与任务时间等因素的差异，用户提供的数据质量参差不齐，提供高质量数据的用户无法获得更高的回报时，用户参与感知任务的积极性大幅降低。

2.系统信息不完全，直接学习报价策略困难。每个用户需要对自身的参与时间上报单价，以方便平台从各个用户处购买感知时间，而感知时间单价通常需要考虑自身的数据质量，平台的预算，其他用户的报价等信息，但这些信息对用户并不公开，每个用户很难找到一个合适的报价。

3.非连续的报价规则，动作空间巨大。基于反向拍卖、匹配机制、Q-Learning等算法的报价策略调整方案需要将报价区间分割为离散价格进行选择，无法生成连续的报价，而离散报价存在如下问题，价格间隔较大时无法满足用户的差异报价需求，间隔较小时动作空间与计算开销巨大。

发明内容

有鉴于此，本发明实施例提供一种可扩展性高且开销小的，基于众包的定位指纹库更新方法及装置。

本发明的一方面提供了一种基于众包的定位指纹库更新方法，包括：

初始化经验回放池；其中，所述经验回放池用于保存用户与平台之间的交易经验信息；

为每个用户初始化Online Critic网络和Online Actor网络；

利用所述Online Actor网络为每个用户生成自身的报价；

根据每个用户自身的报价，由每个用户同时执行动作，计算出每个用户购买的感知时间；

获取每个用户的交易信息以及奖励信息；

将所述交易信息以及所述奖励信息添加到经验回放池；

计算所述Online Critic网络的损失；