[发明专利]一种无人机自主跟拍运动目标的方法

说明书

本发明公开一种无人机自主跟拍运动目标的方法，包括在模拟器中训练跟拍虚拟目标，实现步骤为：(1)构建无人机模拟器；(2)在无人机模拟器中采集样本；(3)利用采集样本进行无人机飞行控制策略训练；所述无人机飞行控制策略训练过程中，使用神经网络来表示初始无人机飞行控制策略模型，用当前的初始飞行控制策略模型在无人机模拟器中控制无人机，在无人机模拟器提供的马尔科夫过程中采样，针对收集到的样本，用近端策略优化的方法优化当前初始飞行控制策略模型，直至初始飞行控制策略模型不再提升，得到无人机飞行控制策略模型。相比以往的手工控制无人机航拍的方法，使用强化学习学出的飞行控制策略，由于训练采样丰富，往往能够面对各种复杂情况，有反应灵活、控制平稳、人力成本低等优点。

技术领域

本发明涉及一种无人机自主跟拍运动目标的方法，属于无人机控制技术领域和飞行器航拍技术领域。

背景技术

无人机在人们的生活、工作中正扮演越来越重要的角色，无人机航拍被越来越多的应用于视频录制、活动宣传等场景中。然而，现有的航拍方法大多是人为控制无人机进行拍摄，需要有专业的工作人员，按照相应任务的航拍需求，完成无人机的航拍任务。然而，人为控制无人机进行航拍面临着操作困难、难上手、需要经过长时间专业训练和资源损耗大等问题。

发明内容

发明目的：针对现有技术中存在的问题与不足，本发明提供一种无人机自主跟拍运动目标的方法，在模拟器中使用近端策略优化方法训练无人机智能飞行控制策略，并在真实场景中使用无人机智能飞行控制策略自动控制无人机航拍。相比以往的手工控制无人机航拍的方法，使用强化学习学出的飞行控制策略，由于训练采样丰富，往往能够面对各种复杂情况，有反应灵活、控制平稳、人力成本低等优点。

技术方案：一种无人机自主跟拍运动目标的方法，包含在模拟器里训练跟拍虚拟目标，包括以下步骤：(1)使用Unity构建无人机模拟器，无人机模拟器中，无人机状态信息和控制动作与真实环境保持一致；(2)在无人机模拟器中采集样本；(3)利用采集样本进行无人机飞行控制策略训练。

所述无人机模拟器用于近似模拟马尔科夫过程S,A,P,R,γ，提供与真实场景下无人机一致的观测信息，并提供与真实无人机一致的操作指令；同时，在模拟器中可以生成一个随机移动的运动目标。

所述无人机飞行控制策略训练过程中，使用神经网络来表示初始无人机飞行控制策略模型，用当前的初始飞行控制策略模型在无人机模拟器中控制无人机，在无人机模拟器提供的马尔科夫过程中采样，针对收集到的样本，用近端策略优化的方法优化当前初始飞行控制策略模型，直至初始飞行控制策略模型不再提升，得到无人机飞行控制策略模型。

所述无人机飞行控制策略训练过程中，通过神经网络与无人机模拟器的交互，实现采样中进行优化无人机飞行控制策略，使用随机梯度下降方法去优化神经网络的替代目标函数。随机梯度下降方法每次更新仅使用样本中的一小批数据，一组样本可以用于神经网络的多次更新，是一种高效的训练方法。

所述神经网络使用任意框架搭建神经网络，网络结构为多层全连接(fully-connected)网络。

所述的收集到的样本包含一个马尔科夫决策过程需要的全部信息，即一组样本包括S：无人机在模拟器中观测到的自身状态信息的集合；A：无人机采样过程中执行的全部操作指令的集合；R：无人机采样过程中获取的奖赏的集合；γ：无人机所获取奖赏的衰减系数。

所述的自身状态信息包含无人机的高度、经纬度、俯仰角、偏航角、滚转角、东向速度、北向速度、天向速度、东向加速度、北向加速度、天向加速度、目标与自身的相对位置等。

所述的操作指令包含无人机的滚转指令、俯仰指令、偏航指令以及动力指令。

所述的奖赏是多重奖赏函数混合的方式，具体包括无人机稳定度奖赏和跟踪目标精确度奖赏。