[发明专利]一种无人机影像高效处理系统

权利要求书

1.一种无人机影像高效处理系统，其特征在于，包括影像采集传输模块和影像拼接融合模块，影像采集传输模块分为发送端和接收端两部分；

无人机影像高效处理系统框架为：无人机上捆绑设置有Android手机，在无人机飞行途中使用Android手机自带的摄像头获取视频影像数据；对无人机采集得到的视频影像数据首先使用H.264/AVC编码标准对其进行压缩编码，去除相邻影像帧之间的冗余信息，适应实时传输的带宽需求，然后使用UDP/RTP/RTCP协议在由电脑建立的虚拟局域网内进行编码压缩比特流的传输，最后在服务器端对接收到的压缩比特流进行解码播放并存储；同时在服务器端首先将传输存储下来的视频转换成视频影像帧，然后对视频影像帧进行重叠度的判断，在满足影像拼接对重叠度的要求的前提下，采用抽稀策略对解压得到的原始影像进行抽稀处理，在原始数据中选取其中部分质量较高的无人机影像作为待拼接影像数据集；使用SIFT算子分别提取相邻待拼接影像的特征信息，并使用欧式距离比值法对相邻影像的特征点进行匹配，使用RANSAC精匹配的方法对欧氏距离比值法粗匹配后的特征点对进行筛选，剔除其中误匹配的点对，根据精匹配的结果建立相邻影像间的变换矩阵实现无人机影像的拼接；

无人机影像高效处理系统包括手机端和服务器端，手机端程序包括数据采集、影像编码、数据传输，服务器端程序包括影像重叠度判断、影像拼接处理；

服务器端的影像重叠度判断流程为：对解码后得到的影像帧，采用SIFT算子分别提取相邻影像帧的特征点信息，并结合特征点邻域像素的梯度直方图确定特征点的特征描述子，根据提取后的特征信息综合使用欧氏距离比值法粗匹配和RANSAC算法精匹配的方法对相邻影像帧进行匹配，以第一张影像为基准，将匹配好的影像转换到第一张影像的坐标系中，并求出左影像和右影像上的面积，该面积即为左右影像之间重叠区域的面积，对影像的重叠度进行计算，并根据无人机影像拼接对重叠度的要求，采用抽稀策略对解码后的原始影像帧进行抽稀处理；

影像的抽稀策略兼顾无人机影像拼接的最佳重叠度和影像质量两方面的因素，具体为：

第一步，首先对无人机采集的前5张影像的质量进行分析，选取其中平均梯度值最高的影像作为无人机影像拼接的基准影像，确定基准影像A之后，以m为步长，取基准影像后的第m张影像作为暂定的待拼接影像，在特征匹配的基础上求解基准影像A和暂定的待拼接影像B之间重叠区域的面积，使用无人机影像航向重叠度计算公式求解得到影像间的重叠度；

第二步，对影像间的重叠度进行判断，将影像最佳重叠度的范围设置为60-65％，根据求取的影像重叠度的大小，指导影像抽稀；

第三步，如果选取两幅影像的重叠度正好位于60-65％之间，则认定已找到最佳重叠区域的影像，此时以影像B为中心，选取影像B周围各5张影像，共11张影像进行最佳影像的选择；首先求取这11张影像的平均梯度，之后将计算得到的平均梯度按顺序进行排列，从高到低依次计算得到这11张影像与基准影像A之间的重叠度，直到找到满足重叠度要求的影像B1为止，此时选取的影像B1就是满足重叠度要求的最佳拼接影像；

第四步，如果选取的两幅影像的重叠度小于给定的阈值，则认定满足最佳重叠度要求的影像位于基准影像A和影像B之间，此时采用Bi-section的取样方法选取影像A与影像B之间的影像C作为参考影像；求取基准影像A和参考影像C之间的重叠度，对重叠度的范围进行判断，并依此方法不断采用Bi-section的方法缩小待拼接影像的选取范围，直到找到满足重叠度要求的最佳待拼接影像D或E；以影像D或E为中心，选取影像D或E周围各5张影像，共11张影像进行最佳影像的选择；求取这11张影像的平均梯度，将计算得到的平均梯度按顺序进行排列，从高到低依次计算得到这11张影像与基准影像A之间的重叠度，直到找到满足重叠度要求的影像D1或E1为止，此时选取的影像D1或E1就是满足重叠度要求的最佳拼接影像；

第五步，如果选取两幅影像的重叠度大于给定的阈值，则认为满足最佳重叠度要求的影像不在基准影像A和影像B之间，满足重叠度要求的最佳待拼接影像应该位于影像B的右侧；以m为步长选取影像B后面第m张影像F作为参考影像，则此时最佳重叠度影像的搜索范围平移到影像B和影像F之间；采用Bi-section采样的方法，逐渐缩小影像搜索的范围，直到找到满足重叠度要求的待拼接影像C；以影像C为中心，选取影像C周围各5张影像，共11张影像进行最佳影像的选择，求取这11张影像的平均梯度，将计算得到的平均梯度按顺序进行排列，从高到低依次计算得到这11张影像与基准影像A之间的重叠度，直到找到满足重叠度要求的影像C1为止，此时选取的影像C1就是满足重叠度要求的最佳拼接影像；

第六步，将确定的拼接影像作为原始影像A，重复上面5个步骤的操作，继续搜索合适的拼接影像，直到挑选出所有满足条件的拼接影像为止。