[发明专利]基于航拍图像处理的视频果冻效应检测方法、装置及设备

说明书

本发明涉及人工智能技术领域，具体涉及一种基于航拍图像处理的视频果冻效应检测方法、装置及设备。该方法采集城市区域的RGB图像和对应的深度图像；利用初始成像面积阈值获取RGB图像中的第一建筑物区域，同时获取深度图像中的第二建筑物区域，对第一建筑物区域和当前第二建筑物区域进行当前区域匹配；对初始成像面积阈值进行更新得到新成像面积阈值，将由新成像面积阈值得到的第一建筑物区域和待匹配的第二建筑物区域进行下一区域匹配；匹配成功时，检测第一建筑物区域的果冻效应量化值以进行修复。通过对初始成像面积阈值更新得到的新成像面积区域来获取初始成像面积阈值遗漏的建筑物区域，以避免果冻效应检测的遗漏，提高对整体图像的修复质量。

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于航拍图像处理的视频果冻效应检测方法、装置及设备。

背景技术

果冻效应的形成是摄影机本身的特性决定的。基于CMOS传感器的相机普遍使用卷帘快门，且通过图像传感器逐行曝光的方式实现的。在曝光开始的时候，图像传感器逐行扫描进行逐行曝光，直至所有像素点都被曝光。如果被拍摄的物体相对于相机高速运动或快速振动时，用卷帘快门进行逐行扫描的速度不够，进而导致拍摄结果可能出现“倾斜”、“摇摆不定”或“部分曝光”等情况。

目前，为了消除果冻效应带来的影响，利用参考图像对采集的RGB图像进行特征点匹配，进而根据匹配成功的特征点所对应的区域进行图像恢复。

发明人在实践中，发现上述现有技术存在以下缺陷：采集的RGB图像中特征点对应的区域都是特定成像面积大小对应的区域，但是只检测特定成像面积对应的区域，会忽略其他区域的果冻效应的检测以及恢复，进而影响整张图像的果冻效应的恢复，导致图像恢复结果的质量差。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种基于航拍图像处理的视频果冻效应检测方法、装置及设备，所采用的技术方案具体如下：

第一方面，本发明一个实施例提供了一种基于航拍图像处理的视频果冻效应检测方法，该方法包括：

对城市区域进行图像采集，获取所述城市区域的RGB图像及对应的深度图像；

根据建筑物区域的初始成像面积阈值获取所述RGB图像中的第一建筑物区域；将所述深度图像通过关键点检测网络得到每条边缘直线的端点，对所述端点进行聚类得到所述深度图像中的第二建筑物区域；根据所述第一建筑物区域和当前第二建筑物区域的质心坐标得到的相似度进行当前区域匹配；

结合所述初始成像面积阈值对应的深度距离、所述初始成像面积阈值和待匹配的所述第二建筑物区域的平均深度信息得到新成像面积阈值；将由所述新成像面积阈值得到的所述第一建筑物区域和待匹配的所述第二建筑物区域进行所述相似度计算以完成下一区域匹配；

在所述区域匹配成功时，根据所述第一建筑物区域和所述第二建筑物区域中直线的密度分布差异指标进行直线匹配以得到多个直线匹配集合；根据所述直线匹配集合中所述直线的长度差值得到所述第一建筑物区域的果冻效应量化值，进而根据所述果冻效应量化值对所述第一建筑物区域进行修复。

进一步地，所述新成像面积阈值的优化方法，包括：

根据所述当前同区域匹配成功的所述当前第二建筑物区域和待匹配的所述第二建筑物区域的所述质心坐标得到坐标差值，基于所述坐标差值来修正所述新成像面积阈值。

进一步地，所述根据建筑物区域的初始成像面积阈值获取所述RGB图像中的第一建筑物区域的方法，包括：

对所述RGB图像进行连通域分析得到多个建筑物目标区域；

将大于或等于所述初始成像面积阈值的所述建筑物目标区域作为所述第一建筑物区域。

进一步地，所述获取所述RGB图像中的第一建筑物区域的优化方法，包括：