[发明专利]一种扩散分子通信环境下基于强化学习的多层自适应奖励目标溯源方法

说明书

本发明公开一种扩散分子通信环境下基于强化学习的多层自适应奖励目标溯源方法。首先输入算法所需的参数，设计多层阈值模型和分子探测器的运动方式；然后，让分子探测器探索若干回合获取阈值的初始值并更新奖励信息；最后，以固定回合数更新多层阈值，接收机经过若干次迭代之后找到目标。本发明能够解决复杂扩散分子通信环境下分子探测器的路径规划问题。该方案具有定位精度高、复杂度低、快速定位等优点。

技术领域

本发明涉及一种扩散分子通信环境下基于强化学习的多层自适应奖励目标溯源方法。

背景技术

分子通信(Molecular Communication，MC)是一种基于纳米尺度粒子传输的仿生方法。常规的基于波场激励的通信系统无法应用于小型通信环境，而分子通信具有优秀的生物兼容性和较低的功耗，被广泛应用于环境监测、药物输送和疾病感测领域。因此，MC是未来微型生物纳米网络中最重要的技术之一。

在MC系统中，发射源的位置是一个重要参数。利用分子探测器和发射源之间的位置信息以及菲克定律可以计算出MC的信道冲激响应(CSI)。这样就不需要进行多次信道估计，大大降低了MC的通信复杂度。此外，如果确定了分子探测器和发射源之间的位置信息，分子探测器可以往返到发射源完成许多指定任务，如污染清理、资源补充等工作。

目前，距离估计和信源定位已经在许多论文中进行了研究。在“X.Wang，M.D.Higgins，and M.S.Leeson，“Distance estimation schemes for diffusion basedmolecular communication systems，”IEEE Communications Letters，vol.19，no.3，pp.399-402，2015”中，作者使用浓度峰值时间和接收到的浓度值来估计距离，但它不能准确地得到分子探测器通过距离的位置。“S.Huang，L.Lin，W.Guo，H.Yan，J.Xu，and F.Liu，“Initial distance estimation for diffusive mobile molecular communicationsystems.”in2019IEEE/CIC International Conference on Communications Workshopsin China(ICCC Workshops)，2019，pp.174-179”只研究了简单场景下的高精度距离估计方案，没有考虑到障碍物。虽然“Y.Miao，W.Zhang，and X.Bao，“Cooperative sourcepositioning for simo molecular communication via diffusion，”in 2019IEEE 19thInternational Conference on Communication Technology(ICCT)，2019，pp.495-499”通过协作源定位获得了发射机的位置，但它使用多个分子探测器协同工作会消耗很多的资源。“A.Ahmadzadeh，V.Jamali，and R.Schober，“Stochastic channel modeling fordiffusive mobile molecular communication systems，”IEEE Transactions onCommunications.vol.66，no.12，pp.6205-6220，2018”研究了随机运动下的信道冲激响应(CSI)；“Z.Luo，L.Lin，Q.Fu，and H.Yan，“An effective distance measurement methodfor molecular communication systems.”in 2018IEEE International Conference onSensing，Communication and Networking(SECON Workshops)，2018，pp.1-4”利用已知的信道冲激响应(CSI)推导出接收机和发射机之间的初始距离，但无法解决移动过程中的定位问题。以上问题都是基于已知的CSI来完成距离估计的。然而，随着环境的变化，CSI通常是未知的。复杂环境下的发射源定位问题尚未解决。