[发明专利]广义鲁棒多通道特征检测器

说明书

技术领域

所公开的技术总体上涉及电路和系统，并且更具体地，涉及用于计算机视觉、图像特征检测以及图像识别应用和技术的设备和系统。

背景技术

移动增强现实(MAR)是当今电脑、智能手机、游戏机以及家庭娱乐系统的一项重要技术。依赖于MAR的应用的一些例子包括注释场景(例如虚拟旅游)、识别物体(例如购物)以及识别用于控制视频游戏或电视机的手势。图像识别过程通常涉及：(1)图像特征或兴趣点的识别，和(2)来自查询或目标图像的这些图像特征与来自图像数据库的那些图像特征的比较。成功的MAR实现通常需要在包括图像缩放、旋转、移动以及亮度和图像噪声变化的一系列条件下可靠地检测到关键的图像特征。

兴趣点和图像特征的示例包括以下：边缘、斑点(例如，没有内部结构的图像区域)、脊部(例如，线性连续斑点)、尺度空间斑点、角、交叉以及区域、边缘结和脊部的接合点。基于对人类视觉或者某种色彩模型(例如Gaussian或Kubelka-Munk)或者其它光测量方法的模仿，目前的特征检测器使用灰度值不变量或某些光测量不变量。存在这样的情况：其中“图像”是一组不能直接表示为人类的“色彩”的通道。例如，图1示出了灰度图像、彩色图像和光谱带(spectrozonal)(具有条件性的通道到色彩的映射)图像。

图2是来自Jet Propulsion实验室的先进星载热发射与反射辐射仪(ASTER)图库的Arizona森林火灾的示例性光谱带图像。在本例中，左边的图像用RGB显示波段3、2和1，将植被显示为红色。大的暗区代表烧毁的森林，并且在边缘可以看到小烟羽，在那里烈火正在燃烧。右边的图像用短波红外(SWIR)波段8替代波段3。明亮的红点代表烈火，其是可见的，这是因为SWIR波长区域具有穿透烟雾的能力。

此外，在当前的系统中，通道不仅能够被映射到微波强度通道，还能够被映射到雷达/激光雷达通道(例如，多普勒频移)或者超声波测距仪通道或不同的Z传感器类型。例如，图3示出了Microsoft Kinect Z-传感器的深度图的示例。但是，光测量方法并不适合于上面所讨论的通道类型，这是因为距离和速度值分布显著不同于可见光谱域电磁场功率的分布。

诸如SURF和SIFT之类的当前技术例如使用多通道(例如，着色的)输入图像到单通道(例如，灰度的)输入图像的转换作为必要的预备步骤，从而失去了重要的图像信息。虽然一些当前的技术尝试使用图像的彩色图，但是这些技术无法使用完整的图像光谱数据，其要么通过在某个中间步骤将所述图像转换为“特殊”的单通道表示，要么试图通过显著性的某种全局标量测量来局部化图像特征。

附图说明

在附图中通过例子的方式而不是限制的方式示出了所公开技术的实施例，并且在附图中类似的附图标记表示类似的元件。

图1示出了灰度图像、彩色图像和光谱带(具有条件性的通道到色彩映射)图像。

图2是来自Jet Propulsion实验室的先进星载热发射与反射辐射仪(ASTER)图库的Arizona森林火灾的示例性光谱带图像。

图3示出了Microsoft Kinect Z-传感器的深度图的示例。

图4示出了单通道图像的不同表示，其中给灰度图像着色并没有产生额外的信息。

图5示出了等效色彩空间转换，其中色彩围绕RGB向量{5，-7，3}旋转了

图6是灰度化破坏图像特征的欧拉测试的例子。

图7示出了色盲测试的例子。

图8示出了对图7所示色盲测试的基于Hessian的检测器的响应的行列式。

图9示出了某个通道中的弱密集斑点(weak-intensive blob)，其位于其它通道中的强密集鞍点。

图10示出了当前的(即现有的)多通道检测器对不同等级的响应，其中不存在对斑点的响应。

图11示出了单通道检测器对不同等级的响应，其中经典检测器在大等级下检测到斑点。

图12示出了的例子展示了多通道检测器如何优于单通道检测器。

图13示出了多通道检测器的对鞍场景处的不同尺度的斑点的响应，其中，识别出了鞍上的斑点。

图14示出了多通道检测器对不同尺度的色盲测试的着色响应。

图15示出了测试图像的ColorSIFT输出的示例，其中并没有识别出所有斑点，并且没有通过色盲测试。

图16示出了测试图像的色彩Harris检测器输出的示例，其中没有通过欧拉测试。