[发明专利]一种基于Q学习的无人机中继协助保持信息新鲜度的系统和方法

说明书

本发明公开了一种基于Q学习的无人机中继协助保持信息新鲜度的系统和方法，所述系统包括一个收发对用户和一个无人机中继；源节点A在每个传输时隙开始采集实时状态信息，并将更新数据包发送给目的节点B；所述系统使用AoI作为评估状态信息更新的及时性的一个度量指标；一阶马尔可夫过程来表示衰落信道上数据传输成功/失败的过程；源节点通过一个控制信道获得当前状态信息，并利用这些信息，基于Q学习算法来优化状态包传输模式选择策略，即中继传输/直接传输，其中回报定义为AoI和无人机能量成本的负加权值。本发明提出的基于Q学习的状态包传输选择方案显著降低了平均信息年龄和无人机能源消耗。

技术领域

本发明属于无线通信技术领域，具体涉及一种基于Q学习的无人机中继协助保持信息新鲜度的系统和方法。

背景技术

现如今，在实时物联网应用中，过时的状态信息可能会导致物联网设备做出错误的决策。尤其在时间敏感性的无线传感器网络中，状态信息的及时更新至关重要。物联网中的传统性能指标，如吞吐量和时延，并不能有效地刻画系统中的状态信息更新的及时性。因此，信息年龄(Age of Information,AoI)作为一种新的时延指标用于量化信息的新鲜程度而受到广泛研究。

目前已有很多基于信息新鲜度系统状态更新方面研究成果。有研究工作将AoI定义为自上次状态信息更新以来所经过的时间(参考文献M.A.Abd-Elmagid,N.Pappas andH.S.Dhillon.On the Role of Age of Information in the Internet of Things,IEEECommun.Mag,vol.57,no.12,December 2019,pp.72-77)。研究工作表明，AoI在基于IoT-based的监测系统中起着至关重要的作用(参考文献Buyukates,Baturalp,Alkan Soysal,and Sennur Ulukus.Age of information in multihop multicast networks,J.Commun.Netw 21.3(2019):pp.256-267)。Y.Zhao在2019年提出了一种基于结构感知算法的分组中继方案，该方案能够最小化认知无线电网络中用户AoI的平均值(参考文献Y.Zhao,B.Zhou,W.Saad and X.Luo.Age of Information Analysis for DynamicSpectrum Sharing,Proc.of IEEE Global Conference on Signal and InformationProcessing,Ottawa,ON,Canada,2019,pp.1-5)。

以上工作均假设状态信息的传递成功概率是固定的，但在实际应用中，在非视距(Non Line of Sight,NLoS)通信场景，如城市通信网络中直传链路的质量很差，很可能导致状态信息传输失败。因此，无人机中继通信技术被提出用于辅助状态包传输。无人机中继通信技术能够充分利用无人机的灵活、机动性和视距(Line of Sight,LoS)主导信道等固有优势以辅助状态信息传输。有研究工作通过优化无人机中继的轨迹，研究了总体AoI的最小化问题(参考文献M.A.Abd-Elmagid and H.S.Dhillon.Average Peak Age-of-Information Minimization in UAV-Assisted IoT Networks,IEEE Trans.Veh.Technol,vol.68,no.2,Feb.2019,pp.2003-2008.)。但事实上，通常很难获得完整的信道状态信息，为了描述衰落信道的动态特性，M.Zorzi在1995年研究了一阶马尔可夫过程模型，该模型表示衰落信道上数据传输成功(或失败)的过程(参考文献M.Zorzi,R.R.Rao andL.B.Milstein.On the accuracy of a first-order Markov model for datatransmission on fading channels,in Proc.IEEE ICUPC,Tokyo,Japan,Nov.1995,pp.211–215.)。