[发明专利]一种基于机器视觉的巷道巡检无人机系统及导航方法

权利要求书

1.一种基于机器视觉的巷道巡检无人机导航方法，其特征是，包括如下步骤：

步骤1)建立巷道巡检无人机系统；所述巷道巡检无人机系统包括无人机载体、超声波距离传感器、控制板、单目相机、机载处理器、飞行控制器和照明灯；

所述超声波距离传感器分别安装在巡检无人机的上、下、左、右、前、后六个方向，所有的超声波距离传感器通过RS485总线和控制板相连，获取与巷道边界的距离信息；

所述控制板通过USART收发器与无人机飞行控制器相连；

所述单目相机通过USB接口连接无人机机载处理器，实时获取和处理图像，并计算无人机偏航角；

所述机载处理器通过USART收发器与无人机飞行控制器相连，实时更新无人机的航向信息，调整其位姿；

所述照明灯安装在无人机载体的正前方，实现单目相机的光照补偿；

步骤2)结合步骤1)所构建的巷道巡检无人机系统，建立单目相机的小孔成像模型，并对单目相机参数进行标定；

步骤3)根据单目相机获得的巷道环境图像，提取巷道中的管道轮廓信息，判定巡检无人机的偏航角，具体过程为：

31)将单目相机采集的巷道RGB图像，沿竖直方向分割成张小图，W为单目相机采集图像的图像宽度；记RGB图像中某一像素的值为r、g、b，转换到HSV颜色空间之后的像素值为h,s,v；对r、g、b归一化为r′＝r/255,g′＝g/255,b′＝b/255，中间变量C_max＝max(r′,g′,b′)、C_min＝min(r′,g′,b′)、Δ＝C_max-C_min，

v＝C_max；遍历RGB图像上所有的像素点，采用上述公式能够转换到HSV颜色空间；

32)在H、S、V三个颜色通道上选择合适的阈值对图像进行阈值化处理，得到相应的二值图，该阈值满足能够使符合管道颜色特征的像素值为255，其余像素值为0；

33)采用Canny算法，检测二值图中的边缘轮廓，得到满足颜色特征的轮廓；

34)设轮廓面积与其最小包围矩形面积之比的阈值为0.8；根据该阈值，对所有的轮廓进行判定，剔除非管道轮廓，得到满足颜色特征的管道轮廓，且数量记为N₂，若N₂小于2，则返回步骤31)；

35)记m∈[0,N₂)；设矩形ABCD为第m个管道轮廓最小外接矩形，A、B、C、D为矩形顶点，E为矩形中心点，对角线所在直线为l_1m:y＝k_1mx+b_1m和l_2m:y＝k_2mx+b_2m，k_1m和k_2m为对角线斜率，b_1m和b_2m为对角线在y轴上的截距；点集UP_m、DOWN_m为第m个管道轮廓在△ADE、△BCE所包围区域内的像素点集合，△ADE为由A、D、E围成的三角形，△BCE为由B、C、E围成的三角形；记p(x_mj,y_mj)为第m个管道轮廓上第j个像素点，S_m为第m个管道轮廓上的像素点规模，则遍历第m个管道轮廓上的所有像素点，

有(0≤jS_m)，得到像素点集UP_m和DOWN_m；

36)采用最小二乘法，拟合得到像素点集UP_m和DOWN_m分别所对应的直线l_upm:y＝k_umx+b_um和l_downm:y＝k_dmx+b_dm，其中，k_um和k_dm分别表示直线l_upm和l_downm的斜率，b_um和b_dm分别表示直线l_upm和l_downm在y轴上的截距；以像素点集UP_m所对应的直线l_upm为例，记p_um(x_mi,y_mi)，0≤iS_pm为UP_m像素点集中的第i个像素点，S_pm为相应像素点集规模，其在直线l_upm上的误差函数，记为E_mi＝y_mi-(k_umx_mi+b_um)，根据最小化代价函数计算得到直线l_upm的斜率k_um和截距值b_um；

37)记第m个管道轮廓所对应直线l_um和l_dm之间的斜率差绝对值为e_m＝|k_um-k_dm|，根据e_m的大小对N₂个管道轮廓依次做升序排列，记其序值为k＝sort(e_m)，且有k|_miniem＝0；选取k＝1的管道轮廓，假设其对应的斜率差绝对值为e_M，记阈值ε为直线l_upm和l_downm的平行度，若满足e_Mε，则返回步骤31)；

38)对k＝0和k＝1的两个管道轮廓，分别计算其中心点C₀(x_c0,y_c0)和C₁(x_c1,y_c1)，和中心点到相机光心的距离L₀、L₁，以及C₀和C₁在相机坐标系下的真实坐标P₀和P₁，具体过程为：

381)计算中心点C₀(x_c0,y_c0)和C₁(x_c1,y_c1)，设k＝0的管道轮廓，其中心点坐标满足假设一条穿过中心点C₀的线段，与直线l_upm和l_downm相交于像素点M(x_M0,y_M0)和N(x_N0,y_N0)，且满足以下约束：k_um*x_M0+b_um＝y_M0，k_dm*x_N0+b_dm＝y_N0，(y_M0-y_c0)/(x_M0-x_c0)＝(y_N0-y_c0)/(x_N0-x_c0)，选取具有最小线段长度的点，记为M(x_M0,y_M0)和N(x_N0,y_N0)；同样重复上述过程，能够选取k＝1的管道轮廓相对应的像素点M(x_M1,y_M1)和N(x_N1,y_N1)；

382)对图像上任意一像素点p(x_i,y_i)，记其在相机归一化平面上的坐标为(x_n,y_n,1)，有x_n＝(x_i-c_x)/f_x，y_n＝(y_i-c_y)/f_y；对其进行径向和切向畸变矫正之后，得到矫正后的坐标为(x_cor,y_cor,1)，有其中，将矫正后的像素点重投影到图像平面上，得到畸变矫正之后的像素坐标为(x_rep,y_rep)，有x_rep＝f_xx_cor+c_x，x_rep＝f_yx_cor+c_y；

383)将M(x_M0,y_M0)和N(x_N0,y_N0)代入步骤382)，得到其畸变矫正之后的像素坐标为M(x_Mrep0,y_Mrep0)和N(x_Nrep0,y_Nrep0)，进而得到相应线段长度为k＝0的管道轮廓在单目相机小孔成像模型中，△EOF与△MON相似，则得到线段MN到相机光心的距离为L₀＝D/d_MN0，其中，D为巷道中通信或电力传输管道的直径；同样重复上述过程，代入M(x_M1,y_M1)和N(x_N1,y_N1)得到L₁；

384)求解C₀和C₁以及其在相机坐标系下的真实坐标P₀和P₁；已知任意一个像素点p(x_i,y_i)在相机归一化平面去畸变之后的坐标为(x_cor,y_cor,1)；中心点C₀在相机归一化平面去畸变之后的坐标为(x_cor0,y_cor0,1)，且该点到相机坐标系原点的距离为L₀；记其在相机坐标系下的真实坐标为P₀(X₀,Y₀,Z₀)，其同相机归一化平面上坐标缩放系数为有X₀＝s₀x_cor0，Y₀＝s₀y_cor0，Z₀＝s₀；同样重复上述过程，中心点C₁在相机归一化平面去畸变之后的坐标为(x_cor1,y_cor1,1)，且该点到相机坐标系原点的距离为L₁；记其在相机坐标系下的真实坐标为P₁(X₁,Y₁,Z₁)，其同相机归一化平面上坐标缩放系数为有X₁＝s₁x_cor1，Y₁＝s₁y_cor1，Z₁＝s₁；

39)设O-XYZ为相机坐标系，在该坐标系中，管道所在向量为相机光轴单位向量为两者夹角为进而得到偏航角W为单目相机采集图像的图像宽度；

步骤4)根据超声波距离传感器的检测信息，判定巡检无人机与巷道边界和障碍物的距离；

步骤5)根据步骤3)和步骤4)获取的巡检无人机实时位置信息，实施其航向调节。

2.根据权利要求1所述的一种基于机器视觉的巷道巡检无人机导航方法，其特征是，所述步骤2)的具体过程为：

21)单目相机采用棋盘格标定板的方式采集图像；

22)对单目相机参数进行标定，获得相机内参矩阵和畸变向量V_dist＝[k_tan1 k_tan2 k_tan3 q_rad1 q_rad2]；其中，f_x、f_y分别表示单目相机在X和Y方向上的焦距，(c_x,c_y)表示单目相机主光轴在像素坐标系下的坐标，k_tan1、k_tan2、k_tan3为单目相机切向畸变系数，q_rad1、q_rad2为单目相机径向畸变系数。