[发明专利]适于增强现实、虚拟现实和机器人的图形基准标记识别

说明书

本发明公开了适于增强现实、虚拟现实和机器人的图形基准标记识别。在各种示例中，接收表示图像的图像数据。角检测可用于识别可能是候选角点的像素。图像数据可以从较高维颜色空间转换为较低维颜色空间中的经转换的图像，并且可以识别经转换的图像内的边界。确定到边界之一在阈值距离内的候选角点集，并可以分析候选角点集以确定表示多边形的角的候选角点的子集。使用候选角点的子集，可以识别一个或更多个多边形，并且可以对多边形应用过滤器，以识别与基准标记的基准标记边界对应的多边形。

背景技术

基准标记，如AprilTags、ARTags、ARToolkit、ARToolkitPlus、RUNE-Tags、reacTIVision、QR码等，已用于虚拟现实、增强现实、机器人和其他物体定位技术领域(例如，机器人到机器人的定位)、对象的识别、检测对象的位置、检测对象的方向、测试虚拟现实耳机、跟踪环境中的对象、同步定位和映射(SLAM)算法估计、摄像机校准和其他用途。通常，基准标记作为图形数据模式部署在多边形内的预定的布置中，每个模式都唯一地映射到相应的数据记录(用户账户、单位、产品、消息等)。为了使用基准标记来实现这些目的，使用专门算法来检测和识别场景或环境中的基准标记。

一些检测基准标记的传统方法依赖于基于图形的图像分割算法来识别输入图像中的线并将其组合成多边形。这些方法引起大量已识别的多边形(例如四边形)，从而在过滤多边形以识别图像中的实际基准标记时造成计算资源的消耗。此外，一些传统方法使用分割来识别图像中的边界，然后沿边界分析每个像素以确定多边形的角。但是，沿边界分析每个像素的效率很低，并且会导致大量的计算、时间和能量成本。

如上所述，这些传统方法中的每一种都会导致计算和能量资源的显著消耗。由于它们依赖中央处理单元(CPU)来识别基准标记，使消耗更加严重。例如，由于CPU的处理限制，这些传统方法能够以每秒30帧(fps)的帧速率操作分辨率为640x480的输入图像(例如，480p)，例如，但可能只能以10fps的帧速率操作分辨率为1920x1080(例如1080p)的输入图像。这种低帧速率不能支持基准标记的许多用途所需的功能，特别是随着输入图像的分辨率持续增加(例如，到3840x2160(例如4k)、7680x4320(例如8k)或更高)。

发明内容

本公开的实施例涉及图形基准标记识别。更具体地说，公开了使用计算机视觉处理的系统和方法，所述计算机视觉处理在某些示例中至少部分地在图形处理单元(GPU)上实现，以使用表示包含基准标记的环境的图像数据来识别基准标记。

与上述传统系统(如上述系统)不同，本系统可以对输入图像实施过滤和分割，以识别输入图像中的边界。通过以这种方式识别边界，大大减少了与识别输入图像中的大量四边形或其他多边形相关的传统方法的缺点。此外，在与图像阈值化(imagethresholding)和分割过程并行的一些示例中，本系统可以实现角检测，用于识别对应于输入图像中对象的角的像素。然后过滤所识别的角，以便仅保留与输入图像中的边界之一在阈值距离内的角。通过以这种方式识别和过滤角，只需少量像素即可检测和处理输入图像中的多边形，从而大大降低了识别基准标记的计算成本。

此外，进一步与传统系统相比，本系统可以在一个或更多个GPU上实现进程中的至少一些。这样做时，执行进程的效率会提高，尤其是在并行执行两个或更多个进程时(例如，图像阈值化、图像分割和/或角检测)。此外，由于将一些处理卸载到一个或更多个GPU，一个或更多个中央处理单元(CPU)只需要少量处理，从而提高了系统的整体效率和有效性，同时还减少了计算和能量需求。例如，本文描述的进程可以使系统能够以更高的图像分辨率(例如，1080p、4k等)有效地执行，例如以每秒30帧(fps)或更大的帧速率有效地识别输入图像中的基准标记。

附图说明

下面将参照所附的附图详细描述用于图形基准标记识别的本系统和方法，其中：

图1A为根据本公开的一些实施例的、基准标记识别系统的系统图；