[发明专利]一种基于边缘智能的无人机视频帧过滤方法及装置

说明书

本发明提供一种基于边缘智能的无人机视频帧过滤方法及装置，方法包括：在无人机端部署轻量级超分辨率模型FLASR和轻量级目标检测模型Yolo_ShuffleNet；将采集到的无人机视频数据使用相似度融合算法初步过滤，得到过滤后的视频帧；将过滤后的视频帧输入到轻量级图像超分辨率模型FALSR中，得到超分辨率视频帧；将超分辨率视频帧输入到轻量级目标检测模型Yolo_ShuffleNet，对视频帧再次进行过滤，过滤掉无目标对象帧，之后上传至云端，解决了数据传输量过大导致时延长与丢失目标帧等问题，在保证目标精度的前提下，提升了目标检测速度。

技术领域

本发明涉及计算机技术领域，特别涉及一种基于边缘智能的无人机视频帧过滤方法及装置。

背景技术

随着人工智能技术发展以及无人机应用需求提高，将卷积神经网络(Convolutional Neural Networks，CNN)应用于无人机目标检测得到了广泛应用。在无人机上使用CNN进行目标检测，自动识别航拍图像中的目标，可以提高效率，但是CNN模型参数多、数据传输量和计算量都较大，部署在云端会导致时延长、云服务器压力大；部署在无人机端会导致精度低、能耗高等问题。

现有的无人机航拍视频大多分辨率较高，如果将精度高、参数量大的模型直接处理视频所有的帧，是对计算和存储资源的浪费。为了解决这一问题，目前主要采用等间隔提取帧或者采用降低视频帧率的方法来减少视频数据量，但是这类方法很有可能丢弃目标帧或者造成目标检测精度下降。

发明内容

本发明要解决的技术问题，在于提供一种基于边缘智能的无人机视频帧过滤方法及装置，将相似度融合算法、轻量级超分辨率模型FALSR以及Yolo_shuffleNet检测算法部署在无人机端，YOLO检测算法部署在云端，对无人机目标进行检测，解决了数据传输量过大导致时延长与丢失目标帧等问题，在保证目标精度的前提下，提升了目标检测速度，保证了边云协同快速目标检测。

第一方面，本发明提供了一种基于边缘智能的无人机视频帧过滤方法，包括以下步骤：

步骤1、在无人机端部署轻量级超分辨率模型FLASR和轻量级目标检测模型Yolo_ShuffleNet；

步骤2、将采集到的无人机视频数据使用相似度融合算法初步过滤，得到过滤后的视频帧；

步骤3、将过滤后的视频帧输入到轻量级图像超分辨率模型FALSR中，得到超分辨率视频帧；

步骤4、将超分辨率视频帧输入到轻量级目标检测模型Yolo_ShuffleNet，对视频帧再次进行过滤，过滤掉无目标对象帧，之后上传至云端。

进一步地，所述步骤1进一步具体为：在无人机端部署轻量级超分辨率模型FLASR和轻量级目标检测模型Yolo_ShuffleNet；从无人机视频数据集中提取每帧图像，分别输入到Yolo_ShuffleNet和YOLO中，进行模型迁移训练，保证分类精度。

进一步地，所述步骤2中相似度融合算法为基于投票机制的相似度融合算法，具体包括：

所述基于投票机制的相似度融合算法包括：相似与不相似；根据基于投票机制的相似度融合算法求出相似度进行投票，根据算法求出的结果不相似的个数大于相似的个数时，则将此帧提取，否则将此帧过滤；计算相似度算法包括：EMD距离算法以及结构相似度算法，用于计算相邻两帧间相似度；

定义初始相似度阈值，判断相似度大小，若两种算法计算出来的相似度均大于初始相似度阈值，将此帧过滤；

若否，则判断两算法相似度是否均小于初始相似度阈值，若是则将此帧保存，若否，则通过融合感知哈希算法计算相似度，并设定第二相似度阈值，若感知哈希相似度大于第二相似度阈值，则将此帧进行过滤；若感知哈希相似度小于等于第二相似度阈值，将此帧保存。

进一步地，所述步骤4进一步具体为：