[发明专利]一种无人船自主航行的协同云控制系统

权利要求书

1.一种无人船自主航行的协同云控制系统，其特征在于包括岸端控制系统、船载控制系统、通信系统及协同云控制系统；

所述的岸端控制系统包括岸端上位机；所述岸端上位机用于显示无人船的当前状态信息，自主规划无人船初始航线，选择无人船的系统控制方式，并将所规划的航线以及所选择的系统控制方式通过通信系统发送给协同云控制系统；

所述的船载控制系统包括处理器、GPS、激光雷达、航速传感器、航向传感器、电机、舵机、电池；船载控制系统的处理器根据接收到的最终控制信号控制舵机、电机调整航向和航速；

所述的通信系统为4G串口通信模块；

所述的协同云控制系统，包括一个主云控制器和若干个分云控制器；所述主云控制器根据任务的规模从备选云控制器中选择多个云控制器作为分云控制器；然后主云控制器根据当前的计算资源，对总体任务进行分割，并将不同的部分分配给相应的分云控制器，同时将网络控制参数、当前时刻及之前时刻的无人船状态信息发送给分云控制器，待分云控制器计算完成后，将计算结果反馈给主云控制器，主云控制器给出最终控制信号；

在每个采样时刻，活动的云控制器和空闲的云控制器发送他们的状态到主云控制器，主云控制器根据各分云控制器的状态，重新列出新的分云控制器备选名单，然后在下一个采样时刻根据各分云控制器的最新状态重新分配任务；

所述的协同云控制系统通过通信系统分别与岸端控制系统和船载控制系统相连进行通信；

所述主云控制器选择4个分云控制器，采用深度确定性策略梯度算法控制无人船自主航行，分云控制器1作为行动者输出控制命令O(t)给定舵角和给定航速，分云控制器2作为行动者估计，根据无人船的下一个时刻的状态估计无人船应该采取的动作O(t+1)，分云控制器3作为评论家对每次分云控制器1所采取的行动打分，分云控制器4作为评论家估计对每次分云控制器2的输出打分；

所述分云控制器1、2、3、4将输出信号及网络参数反馈给主云控制器，主云控制器选择分云控制器1的输出作为控制命令并保存分云控制器1、2、3、4的网络参数；

所述主云控制器将无人船当前采样时刻以及前一采样时刻的期望航向、期望航迹误差、实际航向、实际航迹误差、实际航速、当前位置、当前障碍物距离、前一时刻的控制命令作为分云控制器1的输入S(t)；

所述主云控制器将无人船下一采样时刻以及当前采样时刻的期望航向、期望航迹误差、实际航向、实际航迹误差、实际航速、当前位置、当前障碍物距离、前一时刻的控制命令作为分云控制器2的输入S(t+1)；

所述主云控制器将最终控制命令给船载控制系统，当船载控制系统执行控制命令后，会得到环境的奖励r(t)，所述奖励为若采取的动作有效的避开了障碍物且高精度的跟踪了航线，则得到一个正奖励，反之，得到一个负奖励；

所述主云控制器将每一个时刻分云控制器1、2的输入S(t)、S(t+1)和输出O(t)、O(t+1)及奖励r(t)存储在经验池中，每次从经验池中随机抽取20组数据，将S(i)和O(i)作为分云控制器3的输入，将S(i+1)和O(i+1)作为分云控制器4的输入，分云控制器3和4对i时刻和i+1时刻分云控制器1和2的动作进行打分，将分云控制器4的输出与i时刻的奖励求和后，再与分云控制器3的输出求差值，通过最小化这个差值来反向求梯度，沿着梯度下降方向更新分云控制器3的网络参数，分云控制器4通过慢慢跟踪分云控制器3的网络参数来更新自身的网络参数；

所述分云控制器1的网络参数通过分云控制器3对分云控制器1的输入反向求梯度，沿着梯度上升方向获得更新。

2.如权利要求1所述的无人船自主航行的协同云控制系统，其特征在于，所述船载控制系统利用GPS采集当前位置，利用激光雷达采集周围环境信息，利用航速传感器、航向传感器采集当前航速及当前航向信息，通过处理器将这些信息汇总并给通信系统，通过通信系统将无人船状态信息发送给协同云控制系统；处理器根据接收到的控制命令控制舵机、电机调整航向和航速，电池为无人船上所有设备供电。

3.如权利要求1所述的无人船自主航行的协同云控制系统，其特征在于，所述协同云控制系统，根据接收到的无人船的状态信息、航线信息以及系统控制方式，输出控制命令给定舵角及给定航速，并通过通信系统将控制命令发送给船载系统，且将无人船的状态信息传送给岸端上位机显示。

4.一种如权利要求1所述系统的无人船自主航行的协同云控制方法，其特征在于，

岸端上位机自主规划无人船初始航线，选择无人船的系统控制方式，并将所规划的航线以及所选择的系统控制方式通过通信系统发送给协同云控制系统；

船载控制系统利用GPS采集当前位置，利用激光雷达采集周围环境信息，利用航速传感器、航向传感器采集当前航速及当前航向信息，通过处理器将这些信息汇总并给通信系统，通过通信系统将无人船状态信息发送给协同云控制系统；

协同云控制系统根据任务的规模从备选云控制器中选择多个云控制器作为分云控制器；然后主云控制器根据当前的计算资源，将总体任务分割为多个分任务，并将不同的分任务分配给相应的分云控制器，同时将网络控制参数、当前时刻及之前时刻的无人船状态信息发送给分云控制器，待分云控制器计算完成后，将计算结果反馈给主云控制器，主云控制器给出最终控制信号；

船载控制系统的处理器根据接收到的最终控制信号控制舵机、电机调整航向和航速；岸端上位机显示无人船的当前状态信息。