[发明专利]一种基于深度强化学习的无人机任务匹配与计算迁移方法

说明书

本发明公开一种基于深度强化学习的无人机任务匹配与计算迁移方法，步骤包括对问题采用参数化描述，包括任务参数、无人机当前状态参数、每个任务做出动作参数，利用参数建立本问题目标函数的数学模型，采用Actor‑Critic深度强化训练学习求解系统花费最小的最优动作。本发明全局性地考虑无人机的任务匹配和计算迁移这两个动作，在系统总花费最小的权衡下解决问题得到最优动作的决策。

技术领域

本发明涉及无人机任务匹配与计算迁移领域，特别涉及一种基于深度强化学习的无人机任务匹配与计算迁移方法。

背景技术

无人机全称是无人驾驶飞机，是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机。无人机技术最早起源于20世纪初期，主要应用于军事领域，帮助军队运送物资和投掷炸药。近年来随着无人机制造技术的发展，产生了多种具有不同功能的无人机，从而大大扩大无人机的应用范围。目前无人机多应用于航拍、物流配送、农林植保、灾后搜寻等领域，各个企业也纷纷引入无人机技术，推出了独具特色的基于无人的的服务。例如京东在2016年便开始尝试用无人机进行物流配送，支付宝上线了一键呼叫极飞无人机植保服务，百度尝试用无人机进行送餐等，给用户的生活带来了极大的便利。同时由于无人机的生产成本不断降低，无人机产品趋于小型化、智能化，消费级的无人机市场展现出爆发式的增长，消费级无人机主要面对个人消费者，一般具备娱乐与航拍功能。虽然无人机的价格不断降低，但它的售价依然较为高昂，让许多用户望而却步。而且许多用户对无人机的需求不是持续性的需求，而是暂时性的服务型需求。为了解决以上矛盾，无人机租赁市场开始升温，用户基于自身的任务需求向企业租借无人机并基于租借的无人机种类与时长向企业交付一定的费用，从而企业与用户双方达到互赢的局面。尽管无人机租赁市场前景无限，但整个租赁过程依然存在着以下几个挑战。

企业端存在着许多种类不一的无人机，不同的无人机适用于不同类型的任务。例如飞行速度快的无人机适用于对实时性要求较高的任务，续航能力强的无人机适用于长时间的监测任务。但许多用户对无人机的了解不深，无法根据自己的任务特点选择最适合的无人机，因此需要在企业端进行任务匹配，由企业帮助用户选择最适合的无人机，从而尽可能缩短任务的完成时间，使系统资源利用率最高。在每一时刻，用户群体产生不定量的任务数，这些任务的大小、执行的地点、需要的计算和存储资源都不一样，企业需要对这些任务各自的特点进行分析，并结合考虑无人机自身的特点和现在的地点，将每个任务匹配到最适合的无人机上执行。

大部分基于无人机的任务都包含两种不同的子任务——采集任务和计算任务。采集任务只能由无人机执行，需要无人机飞到目的地进行数据收集，例如对当地的各个景点进行拍摄。计算任务则需要无人机对采集得到的数据进行处理，例如对航拍的视频进行物体识别，对核电站钢构件的裂缝进行实时的监测。大部分无人机上搭载着有限的计算和存储资源，因此无人机无法很好的完成一些对计算或存储资源要求较高的任务。而现在有许多基于无人机的任务是计算密集型的，例如用无人机救灾时，对灾区进行幸存者检测，在航拍时对拍摄画面进行实时的处理。为了解决以上问题，可以将无人机与云服务器相连，当计算任务比较复杂时，可以把无人机采集到的数据迁移到云服务器上进行后续的计算处理工作，从而大大调高了无人机的处理能力和应用范围，同时可以将无人机与AI服务相结合，提高无人机服务的智能性，为用户提供更智能的服务。同时，用户需要向云服务器支付一定的计算费用，因此，需要权衡时间和资金来这两个因素来决定是否进行计算迁移。

现有的关于无人机租赁系统的研究，主要是基于任务匹配或者计算迁移中的一种，考虑任务匹配时，只考虑任务当前的特性以及无人机的状态来进行匹配，而没有考虑迁移到云上的可能。而考虑计算迁移，则只考虑无人机当前的任务队列以及迁移到云上的价格，在价格和执行时间上做一个权衡，从而决定是否迁移某个任务。现有的研究没有联合两种因素一起来考虑。但任务匹配和计算迁移这两个动作会相互影响，假设某一时刻来了一个任务，如果将它匹配给计算资源较大的无人机，则可以不用将后续的计算任务迁移到云上，如果将它匹配给计算资源较小的无人机，则需要将采集到的数据迁移到云上进行处理。