[发明专利]飞行器辅助避障方法、装置和辅助避障系统

权利要求书

1.一种飞行器辅助避障方法，其特征在于，所述飞行器包括设置在各个方位的多个图像采集装置和多个距离传感器，所述方法包括：

接收多个所述图像采集装置同时采集的图像；

将接收到的多幅所述图像合成为一幅飞行器周围的全景图像；

接收多个距离传感器同时获取的飞行器周围的障碍物距离数据；

将多个所述障碍物距离数据融合到所述全景图像中，并输出至显示装置进行显示，以使操作人员根据飞行器周围的全景图像和障碍物与飞行器的距离数据控制飞行器进行避障；

所述接收多个距离传感器同时获取的飞行器周围的障碍物距离数据的步骤之后，所述方法还包括：

根据飞行器当前所处的位置和所述障碍物距离数据，确定障碍物的位置信息；

根据所述障碍物的位置信息和飞行器周围的全景图像，生成避障图像围栏，围栏中标记有障碍物的位置信息，该围栏在距离传感器出现故障的情况下，避免飞行器与障碍物相撞；

其中，所述将接收到的多幅所述图像合成为一幅飞行器周围的全景图像的步骤，包括：

依次确定相邻的图像采集装置采集的图像之间重叠的共同区域；

采用加权平滑算法逐个对所述共同区域进行拼接，将接收到的多幅所述图像合成为一幅飞行器周围的全景图像；

确定相邻的图像采集装置采集的图像的共同区域时，将图像采集装置采集的图像投影到投影柱面，然后采用图像匹配的方式，计算相邻的图像采集装置采集的图像之间重叠的共同区域，将相邻的两个图像的柱面投影模型进行匹配，提取两个图像中的特征点，识别出两个图像中相同的特征点，将相同的特征点所覆盖的区域作为共同区域，然后将相邻的图像采集装置采集的两幅图像中共同区域各对应像素点的灰度值进行加权平均，以确定拼接后的图像中各像素点的灰度值；

设置图像1的共同区域中某一像素点的灰度值为Pixel_L，相邻的图像2中对应的像素点的灰度值为Pixel_R，将Pixel_L和Pixel_R进行加权平均，得到拼接后的图像的像素点的灰度值Pixel＝k*Pixel_L+(1-k)*Pixel_R，其中，k是可调因子，0k1，在重叠的共同区域中，沿图像1向图像2的方向，k由1渐变为0，从而实现共同区域的平滑拼接；k＝d1/(d1+d2)，其中，d1，d2分别表示共同区域中的点到两幅图像共同区域的左边界和右边界的距离，上述公式写成Pixel＝[d1/(d1+d2)]*Pixel_L+[d2/(d1+d2)]*Pixel_R；

通过视觉处理模块驱动多个距离传感器同时探测障碍物距离数据，接收多个距离传感器同时获取的飞行器周围的障碍物距离数据，处理器根据障碍物距离数据判断是否启动避障策略，当任一距离传感器测得的障碍物距离数据低于设定的阈值时，处理器都会向避障模块发出避障信号，控制避障模块启动避障策略；

显示装置安装在远端遥控装置上，通过无线传输的方式将包含障碍物距离数据的全景图像传输至远端遥控装置，使其在显示装置进行显示，以方便操作人员直观地观察到飞行器周围的环境，根据飞行器周围的全景图像和障碍物与飞行器的距离数据控制飞行器进行避障，或者，显示装置是V R显示器，VR显示器可以通过有线或无线连接的方式与飞行器的处理器连接，操作人员通过VR显示器观察飞行器周围的环境，根据飞行器周围的全景图像和障碍物与飞行器的距离数据控制飞行器进行避障；

在对图像进行拼接处理之前，先对接收到的图像进行几何畸变校正，得到校正后的图像，对于设有四个图像采集装置的飞行器，四个图像采集装置分别间隔90°设置，对应的视场范围分别是V1、V2、V3和V4，对在四个视场V1、V2、V3和V4内采集的图像，先采用Holland的两步法确定图像平面坐标和真实空间坐标之间的对应关系，然后根据该对应关系，确定图像中的像素点的真实空间坐标，从而对存在畸变的图像进行校正，对在四个视场V1、V2、V3和V4内采集的图像进行几何畸变校正后，分别得到图像I1、I2、I3和I4，对于得到的四幅校正后的图像，将其拼接成一幅飞行器周围的360°的全景图像；

四个距离传感器与四个图像采集装置对应设置，每个距离传感器的探测视场位于对应设置的图像采集装置的视场范围内， 图像采集装置实时采集V1、V2、V3、V4四个视场范围内的场景信息， 距离传感器获得各个视场内障碍物距离数据，实时反馈给处理器，使处理器得到飞行器周围的360°的全景图像和障碍物距离信息，合成一幅无缝拼接的全景图像，展示给操作人员，使操作人员可以通过显示装置观察到飞行器的周围环境，进而控制飞行器飞行，避免飞行器撞击到障碍物。