[发明专利]一种基于差异化服务的无人机资源动态部署方法

说明书

本发明请求保护一种基于差异化服务的无人机动态部署方法，用于实现无线移动网络环境下的高效差异化服务。本发明首先基于无人机和地面用户的状态信息建立马尔可夫博弈模型，然后在完全信息情况下推导出无人机所有者所提供服务资源的纳什均衡条件，以及用户可达最优效用。在非完全信息情况下利用模仿学习实现无人机所有者对每一时隙所提供资源的有效决策。此外，本发明设计了一种新型神经网络模型用以策略训练，并结合了卷积神经网络、生成对抗网络和梯度下降策略。理论分析表明本发明提出的无人机服务部署决策为渐进最优解。本发明为基于差异化服务的无人机资源配置提供了一种新方法。

技术领域

本发明属于基于地面用户的差异化服务需求对无人机可用资源进行动态部署的方法，尤其涉及一种基于模仿学习的无人机资源动态部署方法。

背景技术

无人机因具有灵活性和移动性等特点，已经被广泛应用于无线边缘网络为用户提供服务，包括数据收集、网络接入和内容缓存等。实现基于无人机服务的关键问题是如何高效地部署无人机资源用以满足用户需求。然而现有无人机部署方案仅聚焦于单一类型的服务，未考虑多种差异化服务并存的场景。一个典型的应用场景是不同的网络运营商可以通过无人机为地面用户提供异构的网络服务，例如4G和5G网络。在一场现场篮球直播赛中，观众可以根据自身对网络的需求和购买力，从网络运营商处购买不同种类的网络增值服务。因此，如何通过无人机资源的优化配置来同时满足用户和无人机所有者的利益有待于研究人员的进一步探索。本发明的目的主要针对现有研究的一些不足之处，提出基于差分服务的无人机动态服务部署方法，利用模仿学习实现在非完全信息下无人机所有者在线资源部署方案，并同时优化用户和无人机所有者的效用，为基于差异化服务的无人机资源部署提供一种新方法。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种基于差异化服务的无人机资源动态部署方法。本发明的技术方案如下：

一种基于差异化服务的无人机资源动态部署方法，其包括以下步骤：

1)构建动态需求模型，确定用户及无人机所有者的效用；

2)构建马尔科夫博弈模型，将步骤1)中的收益最大化问题转化为马尔科夫优化问题；

3)在完全信息状态下，构建专家策略，使得性能达离线最优；

4)在局部信息状态下，基于步骤3)获得的离线专家策略集，构建智能体在线学习策略。

进一步的，所述步骤1)构建动态需求模型，确定用户及无人机所有者的效用，具体包括：

动态需求模型包含H个热点区域，以及K个无人机所有者，在每个时隙t中，用户i以概率生成服务请求Λ_hi(t)并定义为其中d_hi(t)表示所需服务能力，ι_hik(t)∈[0，1]表示在热点区域h中的用户i对服务k的偏好程度；

位于热点区域h的用户i购买服务的预算用e_hi表示，热点区域h的总用户数用m_h(t)表示，那么热点区域h的用户总预算为用户对服务k的聚合偏好为：

热点区域h在时隙t内对服务k的总需求表示为：那么热点区域h内的聚合用户效用可通过以下公式计算：

其中0＜α＜1表示不同服务的可替代程度，变量q_hk(t)为无人机所有者可以在时隙t内为热点区域h提供的服务总量，在缓存应用中q_hk(t)代表可提供的传输速率，系统用户总收益用以下公式计算：