[发明专利]一种结合图像和实例特征的模糊混合实例搜索方法

说明书

本发明公开了一种结合图像和实例特征的模糊混合实例搜索方法，该方法针对带有运动模糊（with blur）的图像/视频中进行实例搜索（Instance Search），具体包括：查询模糊混合、基于图像特征（Image Feature）的排序和基于实例特征（Object Feature）的重排序。本发明将增强实例搜索在以运动模糊图片数据为对象的搜索效果，在有相似背景和包含同一实体图像的图像搜索中能获得较好的搜索效果。为自动驾驶和运动机器人处理视觉相关的检索任务，如目标跟踪，物体重识别等，提供更好的检索支持。

技术领域

本发明涉及计算机视觉目标识别和模糊信息检索领域，尤其是一种基于卷积神经网络的结合完整图像特征信息和识别目标对象特征信息的搜索方法。

背景技术

自动驾驶和智能机器人通常使用摄像头收集视频和连续图像，以增强环境识别和导航等任务。运动的车辆和机器人在采集图像/视频时，带有运动模糊(with motion blur)的图像/视频频繁出现。这些带有模糊的图像/视频可能会成为信息检索的目标。实例搜索(Instance Search)在计算机视觉领域已经被研究了多年，作为一项基本任务，实例搜索直接从整个场景图像中检索查询对象，即使实例只占图像的一小部分，也适用于环境识别和导航场景中的多媒体和视频图像语义分析。实例搜索任务的目标是从数据库中检索包含查询实例的那些图像(例如，在查询图像中作为边界框提供)。因此，与基于内容的图像检索(Content Based Information Retrieval，CBIR)相比，由于查询的多样性和响应的及时性，实例搜索是一项更高级、更具挑战性的任务。当前的研究领域，缺少关于上述模糊图像的实例搜索。

在真实场景中，由于摄像机的校准由于安装在移动智能车辆和机器人上，采集到的视频和图像中会出现大量模糊帧，这会影响实例搜索的性能。目前，已经提出了许多算法来解决由于图像中的模糊而导致的目标检测精度下降的问题。通常，这些算法利用一些图像论证方法生成包含模糊图像的数据集，并训练卷积神经网络(Convolutional NeuralNetwork,CNN)进行目标检测。但是，目前没有文献解决直接从带有模糊的图像中搜索实例的问题。

发明内容

本发明的目的是提供了一种模糊混合查询，将图像特征和实例特征相结合，对模糊图像进行实例搜索的方法。并且还设计并采集了一个类似TRECvid INS的数据集，对其进行性能实验。

实现本发明目的的具体技术方案是：

一种结合图像和实例特征的模糊混合实例搜索方法，该方法包括以下具体步骤：

步骤1：查询模糊混合

在图像库中对实例搜索查询，得到查询图像I，将该查询图像进行模糊增强，使用具有不同模糊度的模拟模糊核，采用模糊化算法将查询图像转换成模糊图像，得到n个不同模糊度的模糊图像I_b1,I_b2,...I_bn；然后，将模糊图像与原始图像进行混合，混合具体包括：

1)像素级混合

以图像的RGB值直接将查询图像及其模糊图像，在每像素模糊图像相加，然后取平均值，得到混合图像；将混合图像作为一个新的查询图像输入到深度卷积神经网络CNN结构中，进行特征抽取；查询图像I在(x,y)像素的RGB值为V^I_x,y，则混合图像I_M的RGB值由以下公式计算：

2)特征级别混合