[发明专利]一种适用于多种复杂路径的移动机器人循线系统

权利要求书

1.一种适用于多种复杂路径的移动机器人循线系统，其特征在于：包括仿真训练模块，动作策略模块、PID控制器模块、图像处理模块，机器人I/O模块，机器人模块和RGB彩色相机；其中动作策略模块、PID控制器模块、图像处理模块安装在嵌入式开发板上；嵌入式开发板和彩色相机通过USB与移动机器人连接；彩色相机获取彩色RGB图；嵌入式开发板发送运动指令控制移动机器人；移动机器人执行动作，进行循线；

仿真训练模块，采用机器人仿真软件搭建仿真环境，然后在该仿真环境下对移动机器人进行循线任务的训练，并保存最后训练结束得到的网络参数模型；图像处理模块，接收彩色相机发送的RGB图像，对图像进行处理之后得到图像中当前移动机器人的中心线与所要跟随的路径中心线之间的误差e、当前移动机器人的曲率与所要跟随的路径曲率之间的误差e_c，和将要跟随的路径上的五个点其中i∈{1,2,3,4,5}；动作策略模块，导入训练后的网络参数模型，并接收图像处理模块所发送的路径信息当前移动机器人的中心线与所要跟随的路径中心线之间的误差e和机器人I/O模块发送的当前机器人的运动信息与位姿信息，得到最优PID控制器参数和移动机器人当前所需线速度v_t；PID控制器模块，接收图像处理模块发送的路径跟踪误差e和e_c，接收动作策略模块发送的最优PID参数，计算得到移动机器人所需角速度的增量△ω；机器人I/O模块，接收动作策略模块和PID控制器模块发送的机器人当前时刻t运动指令，即线速度v_t和角速度ω_t，并将运动指令发送给机器人模块；机器人模块，接收运动指令，控制移动机器人进行循线运动，并实时反馈移动机器人运动、位姿信息和彩色相机图像信息给机器人I/O模块；

仿真训练模块包括：利用机器人仿真平台ROS构建带RGB相机的移动机器人仿真模型，在仿真软件Gazebo中搭建可视化仿真环境，并将移动机器人仿真模型映射到可视化仿真环境中；通过RGB相机采集轨迹图像信息，对图像进行处理之后得到图像中当前移动机器人的中心线与所要跟随的路径中心线之间的误差e、当前移动机器人的曲率与所要跟随的路径曲率之间的误差e_c，和将要跟随的路径上的五个点其中i∈{1,2,3,4,5}；通过仿真的Gazebo环境插件获取移动机器人的线速度v_t和角速度ω_t，结合路径和误差信息构成机器人当前的状态，s_t＝[x₁,y₁,x₂,y₂,x₃,y₃,x₄,y₄,x₅,y₅,e_c,v_t,ω_t]；基于SAC-PID方法，对循迹机器人进行仿真训练，包括以下步骤：

(1)初始化两个相同的动作价值网络Q(θ_i)，i∈{1,2}，状态价值网络V(ψ)和策略网络π(φ)，其中φ，ψ，θ_i分别为策略网络，状态价值函数网络和动作价值函数网络的参数；初始化经验回放池R，设定训练回合数N；

(2)状态s_t输入策略网络π(φ)，输出六维PID控制参数K_t给双增量式PID控制器，PID控制器输出角速度指令，根据偏差的绝对值输出线速度指令；移动机器人执行动作后，计算奖励r，获取新的状态s_t+1和回合结束标志F，将(s_t,K_t,r_t,s_t+1,F)存入经验回放池R中；

(3)基于深度强化学习SAC算法，从经验回放池R中随机抽取d个数组利用随机梯度下降算法更新网络模型的参数，若len(R)d，则跳过这一步骤；

(4)当机器人完成循迹任务或者离开轨迹时进入下一个训练回合，直到机器人完成给定的回合数N，结束仿真训练，将训练好的网络模型保存在PC中；

图像处理模块包括：从彩色相机获取RGB彩色图像，将其转换为HSV图像并进行二值化，得到二值图I_front；利用透视变换获得二值图I_front的俯视图I_top；对二值图I_front和俯视二值图I_top，分别从图像最下方进行逐行搜索直至得到黑色路径在白色背景下的左右边界点及其中点(x_front,y_front)和(x_top,y_top)，其中将x_front归一化就是当前移动机器人的中心线与所要跟随的路径中心线之间的误差e；对二值图I_front和俯视二值图I_top，分别将点(x_front,y_front)和(x_top,y_top)作为种子点，利用向上的区域生长法获得各自的二维列表形式的区域生长结果L_front和L_top，其中列表L_front和L_top存储的是图像中代表路径的黑色像素点的坐标；从列表L_front取出纵坐标分别是最小值、最大值、最大值、最大值和最大值的五个黑色像素点的坐标，并将其归一化为其中i∈{1,2,3,4,5}，作为将要跟随的路径上的五个点；从列表L_top取出纵坐标分别是最大、最小和最大值的三个黑色像素点的坐标其中i∈{1,2,3}，然后利用三点法获得所要跟随的路径曲率之间的误差，再与当前移动机器人的曲率相比较，获得曲率误差e_c；

动作策略模块包括：导入仿真训练后的策略网络模型，并接收图像处理模块所发送的路径信息当前移动机器人的中心线与所要跟随的路径中心线之间的误差e、当前移动机器人的曲率与所要跟随的路径曲率之间的误差e_c和机器人I/O模块发送的当前机器人的运动信息与位姿信息；如果机器人离开路线或完成一次循线任务后回到原点，就发送给移动机器人的线速度v＝0；否则，根据策略网络计算最优PID控制器参数{k_p,k_i,k_d,k_pc,k_ic,k_dc}，其中{k_p,k_i,k_d}是主要PID控制器的比例、积分和微分参数，{k_pc,k_ic,k_dc}是辅助PID控制器的比例、积分和微分参数；并根据当前移动机器人的中心线与所要跟随的路径中心线之间的误差e计算移动机器人所需线速度v，如公式(1)所示，其中|e(t)|∈[0,1]，且a和b是用来限制移动机器人的线速度的正实数；因此最终发送给移动机器人的线速度v范围为[b,b-a]，其中要求a≥0；

v＝-a|e(t)|+b (1)

PID控制器模块包括：从图像处理模块接收路径跟踪误差e和e_c，从动作策略模块接收最优PID控制器参数{k_p,k_i,k_d,k_pc,k_ic,k_dc}；根据公式(2)，计算出主要PID控制器的输出△ω_m，其中e(t)、e(t-1)和e(t-2)分别是t，t-1和t-2时刻的误差e的数值；根据公式(3)，计算出辅助PID控制器的输出△ω_c，其中e_c(t)，e_c(t-1)和e_c(t-2)分别是t，t-1和t-2时刻的e_c；根据公式(4)，计算出移动机器人的角速度的增量△ω，其中η∈[0,1]是辅助PID控制器所占的权重系数；

△ω_c＝k_pc[e_c(t)-e_c(t-1)]+k_ice_c(t)+k_dc[e_c(t)-2e_c(t-1)+e_c(t-2)] (3)

△ω＝△ω_m+η△ω_c (4)

ω_t＝ω_t-1+△ω_m+η△ω_c (5)

机器人I/O模块包括：接收PID控制器模块发送的角速度的增量△ω，根据公式(5)计算得到当前时刻t要发送给移动机器人的角速度ω_t，其中ω_t-1是上一时刻t-1发送给移动机器人的角速度；接收动作策略模块发送的线速度作为当前时刻t要发送给移动机器人的线速度v_t；发送当前时刻t的运动指令，即线速度v_t和角速度ω_t，给移动机器人；发送实时的运动信息和位姿信息给动作策略模块，发送实时的彩色相机图像信息给图像处理模块；

机器人模块包括：移动机器人接收运动指令线速度v_t和角速度ω_t后，控制移动机器人进行循线运动，并实时返回运动信息、位姿信息和彩色相机图像信息给机器人I/O模块。