[发明专利]一种基于无人机的风机叶片自主巡检方法

权利要求书

1.一种基于无人机的风机叶片自主巡检方法，其特征在于：包括以下步骤：

S1.判断待巡检风机的几何结构是否已知；

若是，进入步骤S2；

若否，进入步骤S3；

S2.对待巡检的风机进行图像拍摄，并结合待巡检风机的几何结构，确定风机上多个巡检点的坐标信息，所述巡检点是指巡检时拍摄的目标点,进入步骤S4；

所述步骤S2包括以下子步骤：

S201.对待巡检的风机叶片拍摄多张照片；

S202.获取关键巡检点在图像中的像素点坐标，所述关键巡检点包括风机轮毂中心及三个叶尖：

方式一、在拍摄完图像之后，从存储卡中导出图像进行标注获取像素坐标；

方式二、在实时回传的视频图像上进行标注获取像素坐标；

S203.对于任一关键巡检点，利用云台姿态、拍摄时相机的三维坐标以及相机内参信息计算出关键巡检点的理论三维坐标：

首先设风机塔底为大地坐标系原点，即参考点，利用相机的RTK数据以及姿态角信息是计算出在设定参考点的大地坐标系下相机坐标P₀(X₀,Y₀,Z₀)；所述大地坐标系为北东地坐标系；

计算相机坐标系到大地坐标系的旋转矩阵R_cw：

其中下标cw代表相机坐标系转换到大地坐标系的简称，R_cwx(φ)为相机坐标系到大地坐标系需要绕x轴旋转的矩阵，R_cwy(θ)为相机坐标系到大地坐标系需要绕y轴旋转的矩阵，R_cwz(ψ)为相机坐标系到大地坐标系需要绕z轴旋转的矩阵，分别为相机云台姿态的滚转角、俯仰角和偏航角；根据相机的初始朝向，R_cw还需左乘一个初始旋转R_cw0，此时R_cw＝R_cw0·(R_cwx(φ)·R_cwy(θ)·R_cwz(ψ))；式中

由相机采集的图像获得巡检点的像素坐标P_uv(u,v)，经过相机标定得到相机的内参矩阵：

其中f_x是由αf合并、f_y是由βf合并，f为相机焦距，α,β是像素坐标在u、v坐标轴上缩放倍数，[c_x,c_y]^T是原点的平移量；

则：

P_c(X_c,Y_c,Z_c)为相机坐标系下巡检点的归一化坐标，由上述等式求得：

利用求得的R_cw和P_c以及相对于参考点相机平移坐标t(X₀,Y₀,Z₀)，求出关键巡检点在大地坐标系下的理论三维坐标P_w(X_w,Y_w,Z_w)：

重复上述步骤获得每一个关键巡检点的理论三维坐标，也就是风机轮毂中心及三个叶尖的理论三维坐标；

S204.计算出当前风机相对正北方的偏航角、相对正上方的滚转角：

因为像素平面像素点坐标是二维的，所以缺少一个相机坐标系下z方向的坐标，故在步骤S203中，对每一个关键巡检点计算出来的P_w(X_w,Y_w,Z_w)中均包含有一个未知参数的；设三叶尖的理论坐标P_w1(X_w1,Y_w1,Z_w1),P_w2(X_w2,Y_w2,Z_w2),P_w3(X_w3,Y_w3,Z_w3)；在此基础上，计算出当前风机相对正北方的偏航角、相对正上方的滚转角，作为风机此时的停转状态信息：

在已知结构的条件下，因为参考点选在风机底部，利用此时的大地坐标系，再利用两个旋转角r与p计算出此时风机停转状态下叶尖坐标W₁(r,p),W₂(r,p),W₃(r,p)；

设塔高H，叶片长L，轮毂长D，则：

W₁(r,p)＝(-D·cosp-L·sinr·sinp,-D·sinp+L·sinr·cosp,L·cosr-H)

其中的r与p是未知参数；

然后利用三叶尖的理论坐标P_w1(X_w1,Y_w1,Z_w1),P_w2(X_w2,Y_w2,Z_w2),P_w3(X_w3,Y_w3,Z_w3)分别与相机坐标P₀(X₀,Y₀,Z₀)相连，计算出射线l₁,l₂,l₃；其中l₁表示经过P_w1(X_w1,Y_w1,Z_w1)与P₀(X₀,Y₀,Z₀)的射线；l₂表示经过P_w2(X_w2,Y_w2,Z_w2)与P₀(X₀,Y₀,Z₀)的射线；l₃表示经过P_w3(X_w3,Y_w3,Z_w3)与P₀(X₀,Y₀,Z₀)的射线；

计算W₁(r,p)与射线l₁的距离d₁、W₂(r,p)与射线l₂的距离d₂、W₃(r,p)与射线l₃的距离d₃；

利用最小二乘法，计算出满足d₁,d₂,d₃最短的条件下r与p；

S205.根据风机的停转状态和风机的结构信息，确定整个风机所有的巡检点坐标，其中结构信息包括杆塔的高度、轮毂的长度和叶片的长度：

将计算得到的r与p带入步骤S204中的W₁(r,p),W₂(r,p),W₃(r,p)计算公式中，得到三个叶尖的实际坐标：

W₁(r,p)＝(x_w1,y_w1,z_w1)，W₂(r,p)＝(x_w2,y_w2,z_w2)，W₃(r,p)＝(x_w3,y_w3,z_w3)

根据三个叶尖的实际坐标计算出轮毂中心的实际坐标，计算公式如下：

则轮毂中心坐标为：

预先设置轮毂中心与每个叶尖点之间线段的分段段数，得到风机三个叶尖和轮毂中心的实际坐标后，利用叶尖点与轮毂中心之间的线段等分分割获取巡检点坐标；

S3.对待巡检风机进行图像拍摄，通过图像处理获取风机上多个巡检点的坐标信息,进入步骤S4；

所述步骤S3包括以下子步骤：

S301.在风机前方不同角度拍摄多张照片；

S302.获取关键巡检点在图像中的像素点坐标，所述关键巡检点包括风机轮毂中心及三个叶尖：

方式一、在拍摄完图像之后，从存储卡中导出图像进行标注获取像素坐标；

方式二、在实时回传的视频图像上进行标注获取像素坐标；

S303.对于任一关键巡检点，利用云台姿态、拍摄时相机的三维坐标以及相机内参信息计算出关键巡检点的理论三维坐标，并优化后得到关键巡检点的实际三维坐标：

计算相机坐标系到大地坐标系的旋转矩阵R_cw：

其中下标cw代表相机坐标系转换到大地坐标系的简称，R_cwx(φ)为相机坐标系到大地坐标系需要绕x轴旋转的矩阵，R_cwy(θ)为相机坐标系到大地坐标系需要绕y轴旋转的矩阵，R_cwz(ψ)为相机坐标系到大地坐标系需要绕z轴旋转的矩阵，分别为相机云台姿态的滚转角、俯仰角和偏航角；根据相机的初始朝向，R_cw还需左乘一个初始旋转R_cw0，此时R_cw＝R_cw0·(R_cwx(φ)·R_cwy(θ)·R_cwz(ψ))；式中

由相机采集的图像获得巡检点的像素坐标P_uv(u,v)，经过相机标定得到相机的内参矩阵：

其中f_x是由αf合并、f_y是由βf合并，f为相机焦距，α,β是像素坐标在u、v坐标轴上缩放倍数，[c_x,c_y]^T是原点的平移量；

则：

P_c(X_c,Y_c,Z_c)为相机坐标系下巡检点的归一化坐标，由上述等式求得：

利用求得的R_cw和P_c以及相机平移坐标t(X₀,Y₀,Z₀)，求出关键巡检点在大地坐标系下的理论三维坐标P_w(X_w,Y_w,Z_w)：

重复上述步骤获得每一个关键巡检点的理论三维坐标，也就是风机轮毂中心及三个叶尖的理论三维坐标；

对每一个关键巡检点在大地坐标系下的理论三维坐标进行优化得到实际的三维坐标；

S304.根据计算出来的风机关键巡检点坐标，获取沿风机叶片的等间距巡检点坐标信息：

预先设置轮毂中心与每个叶尖点之间线段的分段段数，获取风机关键巡检点坐标，即三个叶尖坐标点与轮毂中心坐标后，再利用叶尖点与轮毂中心之间的线段等分分割获取巡检点坐标；

S4.根据巡检点的坐标信息，确定巡航点，生成自主巡航轨迹，无人机按照自主巡航轨迹完成风机叶片的巡检,所述巡航点是指无人机悬停拍摄的地点。