[发明专利]使用语义特征来匹配图像的方法和装置

说明书

公开了使用语义特征来匹配图像的方法和装置。示例装置包括：语义贴标器，用于为第一图像的第一点集中的每个点和第二图像的第二点集中的每个点确定语义标签；二进制稳健独立元素特征(BRIEF)确定器，用于基于语义标签来为第一点集的第一子集和第二点集的第二子集确定语义BRIEF描述子；以及点匹配器，用于基于语义BRIEF描述子将点的第一子集中的第一点与点的第二子集中的第二点进行匹配。

技术领域

本公开总体涉及图像处理，并且更具体地，涉及使用语义特征来匹配图像的方法和装置。

背景技术

点描述和匹配是许多计算机视觉任务的基本步骤。例如，点描述和匹配可以用于进行立体匹配、图像拼接、运动估计等。随着诸如机器人、无人机、自主驾驶之类的自动和/或半自动设备变得越来越流行，对由传感器获得的图像数据之间的点描述和匹配的改进使得这样的自动和/或半自动设备的整体性能得到改善。例如，当机器人在环境中行进时，机器人会收集不同方位的图像。因此，机器人需要能够对来自以不同方位拍摄的两个或更多个所获得的图像中的对象进行匹配，以便适当地进行导航和/或与环境中的对象交互。

附图说明

图1是用于使用语义特征来匹配两个图像的示例图像匹配确定器。

图2-图5是表示可以被执行以实现图1的示例图像匹配确定器的示例机器可读指令的流程图。

图6图示出正在由图1的示例图像匹配确定器处理的两个示例图像。

图7是处理器平台的框图，该处理器平台被构造为执行图2-图5的示例机器可读指令以实现图1的示例图像匹配确定器。

这些附图并未按比例绘制。只要可能，(一个或多个)附图和随附的书面描述通篇将使用相同的附图标记来表示相同或相似的部件。

具体实施方式

点描述和匹配是许多计算机视觉任务中重要且使用率很高的协议。例如，在机器人绘图和/或导航中，同时定位和绘图(SLAM)使用点检测和匹配协议来构造未知环境的地图。随着自主车辆、无人机、机器人等的使用变得越来越普遍，更有效的点描述和匹配协议变得越来越重要。

用于点描述和匹配的一些常规技术(例如，尺度不变特征变换(SIFT)或加速稳健特征(SURF))包括：在高斯差(DoG)空间中找到局部极值并将描述子(descriptor)定义为梯度直方图或使用海塞二进制对象(Hessian blob)检测器行列式的整数近似。但是，SIFT或SURF具有很高的计算成本。因此，对于许多实时应用(例如，SLAM)来说，SURF和SIFT都不够快。而其他常规技术(例如，面向FAST和旋转BRIEF(ORB))对应于加速分割测试特征(FAST)检测器和二进制稳健独立元素特征(BRIEF)描述子，从而减少了点描述和匹配所需的计算成本。例如，ORB花费的时间是SIFT的计算时间的1/100，并且是SURF的计算时间的1/10。但是，ORB技术由于其简单性而引入了其特征描述子的不确定性，从而降低了结果的准确性。另外，这样的常规技术不能处理复杂的图像(例如，较大的视点改变)，因为这样的常规技术仅考虑到低级特征(例如，像素梯度、强度、以及颜色)。因此，由于这样的低级描述子的不明确性，使用这样的常规技术通常会导致未对齐。本文公开的示例使用(一个或多个)低级描述子与对应于语义的高级描述子的组合来执行点描述和匹配。

语义特征是通过使低级特征(例如颜色、梯度方向等)与图像场景的内容相关联来描述图像的视觉内容的图像特征。例如，语义特征可以将诸如蓝色之类的提取颜色与海洋或天空相关联。本文公开的示例包括一种结合了高级语义特征和低级强度特征的新的点描述，从而提供了更完整的图像表示和更准确的点匹配。使用本文公开的示例，两个图像中的关键点被分配了一组候选匹配标签，并且在具有相同语义标签的点之间进行点匹配，从而相应地大大减少了点失配。与SIFT和SURF二者相比，本文公开的示例以较少的常规时间提供了比上述传统技术更精确的点匹配。