[发明专利]基于协同云控制的无人机与无人船协作控制系统与方法

权利要求书

1.基于协同云控制的无人机与无人船协作控制系统，其特征在于包括无人机、无人船、协同云控制系统及岸端控制系统；

所述的无人机包括通信模块、处理器、驱动模块、执行机构、GPS、姿态传感器、高度计、航速传感器、距离检测雷达、电压检测模块、云台、摄像机；

所述的无人船包括处理器、驱动模块、执行机构、GPS、姿态传感器、航速传感器、距离检测雷达、通信模块、电压检测模块、摄像机、船载平台；

所述的协同云控制系统用于接收岸端控制系统发布的总任务，包括主云控制器和分云控制器，主云控制器将总任务分割为多个分任务，统筹协调分云控制器执行分任务，输出控制信号给无人船与无人机，控制无人船与无人机协同完成作业；

主云控制器根据任务的规模从备选云控制器中选择多个合适的云控制器作为分云控制器；然后主云控制器根据当前的计算资源，对总体任务进行分割为多个分任务，并将不同的分任务分配给相应的分云控制器，同时将网络控制参数、经验池、当前时刻及之前时刻的无人船、无人机状态信息发送给分云控制器，待分云控制器计算完成后，将计算结果反馈给主云控制器，主云控制器再根据当前任务分配情况计算出最终控制信号，通过点对点通信，主云控制器将控制命令分别发送给无人机与无人船，控制无人机、无人船按指定的姿态、指定的速度到达指定的位置完成指定的工作；

所述主云控制器将每艘无人船下一时刻、当前时刻及前一时刻的状态信息、期望航向、期望航迹误差、实际航迹误差作为对应分云控制器的输入，分云控制器通过自主学习决策输出控制命令，并将控制命令及网络参数反馈给主云控制器，主云控制器再将控制命令发送给对应的无人船或无人机；

所述分云控制器采用深度确定性策略梯度算法控制无人船自主航行，每个分云控制器包含4个神经网络，神经网络1作为行动者输出控制命令O(t)给定舵角和给定航速，神经网络2作为行动者估计，根据无人船或无人机的下一个时刻的状态估计无人船或无人机应该采取的动作O(t+1)，神经网络3作为评论家对每次神经网络1所采取的行动打分，神经网络4作为评论家估计对每次神经网络2的输出打分；

所述分云控制器将神经网络1的输出信号及神经网络1、神经网络2、神经网络3、神经网络4的网络参数、经验池反馈给主云控制器，主云控制器选择分云控制器神经网络1的输出作为控制命令并保存神经网络1、神经网络2、神经网络3、神经网络4的网络参数及经验池；

所述主云控制器将无人船或无人机当前采样时刻以及前一采样时刻的期望航向、期望航迹误差、实际航向、实际航迹误差、实际航速、当前位置、当前障碍物距离、前一时刻的控制命令作为分云控制器神经网络1的输入S(t)；

所述主云控制器将无人船或无人机下一采样时刻以及当前采样时刻的期望航向、期望航迹误差、实际航向、实际航迹误差、实际航速、当前位置、当前障碍物距离、前一时刻的控制命令作为神经网络2的输入S(t+1)；

所述主云控制器将最终控制命令给对应的无人船船载控制系统或无人机控制系统，当船载控制系统或无人机控制系统执行控制命令后，会得到坏境的奖励r(t)，所述奖励为若采取的动作有效的避开了障碍物且高精度的跟踪了航线，则得到一个正奖励，反之，得到一个负奖励；

所述分云控制器将每一个时刻神经网络1、神经网络2的输入S(t)、S(t+1)和输出O(t)、O(t+1)及奖励r(t)存储在经验池中，每次从经验池中随机抽取20组数据，将S(i)和O(i)作为神经网络3的输入，将S(i+1)和O(i+1)作为神经网络4的输入，神经网络3和4对i时刻和i+1时刻神经网络1和神经网络2的动作进行打分，将神经网络4的输出与i时刻的奖励求和后，再与神经网络3的输出求差值，通过最小化这个差值来反向求梯度，沿着梯度下降方向更新神经网络3的网络参数，神经网络4通过慢慢跟踪神经网络3的网络参数来更新自身的网络参数；

所述神经网络1的网络参数通过神经网络3对神经网络1的输入反向求梯度，沿着梯度上升方向获得更新；

在每个采样时刻，活动的云控制器和备选的云控制器将发送他们的状态到主云控制器；主云控制器根据各云控制器的状态，重新列出新的分云控制器备选名单，然后在下一个采样时刻根据各云控制器的最新状态重新分配任务；

所述的岸端控制系统用于显示无人船、无人机与协同云控制系统的状态信息，发布总任务给协同云控制系统，可以手动或自动控制控制无人船与无人机协同工作。