[发明专利]用于在无约束环境中检测人类视线和手势的系统和方法

说明书

一种用于在无约束环境中进行视线和手势检测的系统，包括360度(全向)相机系统、一个或多个深度传感器以及相关联的存储器、处理器和编程指令，以确定在无约束环境中人类用户关注的对象。说明性系统可以使用视线、手势检测和/或语音识别来识别对象。该系统可以生成显著性图并识别感兴趣的区域。可以将方向性向量投影在显著性图上，以找到感兴趣的交叉区域。一旦关注对象被定位，系统就可以识别关注对象。

技术领域

本公开总体上涉及对人类移动的检测，更具体地，涉及在无约束环境中由智能机器进行的对人类视线或手势移动的检测。

背景技术

随着交互式计算机、机器学习和人工智能的发展，对人类移动的机器检测已经变得普遍。台式计算机、智能手机、平板电脑、视频游戏系统以及具有集成或外围相机的其他设备可以包括检测人类移动甚至检测用户视线(例如，用户的眼睛正在看的方向)的能力。

已知的手势控制和视线跟踪系统依赖于窄视野相机，并且被设计用于用户的运动以某种方式受到限制的环境(例如，估计驾驶员或计算机屏幕前的人的视线)。这些系统既不允许用户自由移动，在大多数情况下也不能观察到用户观察到的相同环境。在其中用户可以指示机器人在空间中的其他对象中接合(例如，移动或传递)对象的更一般的环境中，这些系统是无用的，并且也不能理解用户正在看什么或指向什么，因为关注的对象通常不在相机的视野中。

发明内容

本公开的实施例包括用于在无约束环境中进行视线和手势检测的系统。该系统可以包括图像捕获设备，该图像捕获设备被配置为生成包括个体和感兴趣对象的无约束环境的360度图像。该系统还可以包括深度传感器和知识库，深度传感器被配置为生成无约束环境的三维深度图。可以包括处理器，该处理器被配置为从360度图像和深度图生成环境图，并确定360度图像中的个体的关注方向。处理器还可以被配置为生成表示关注方向的方向性向量，并将来自个体的方向性向量投影到环境图上。处理器还可以被配置为检测方向性向量与感兴趣对象的交点，并使用与感兴趣对象相关的数据在知识库中搜索感兴趣对象的身份。

该系统的附加特征可以包括单目全景相机作为图像捕获设备。可替代地，360度图像可以是缝合在一起的若干图像。处理器可以被配置为从视线、个体的手势方向中的至少一种或其组合来确定关注的方向。深度传感器可以是红外传感器、为深度估计而训练的神经网络或同时定位和绘图传感器之一。

在本公开的另一实施例中，公开了一种用于定位和识别对象的方法。该方法可以包括捕获包括个体和感兴趣对象的无约束环境的360度图像，并生成环境图。可以确定来自捕获的360度图像中的个体的关注方向，并且可以生成表示关注方向的方向性向量。可以从环境图上的个体投影方向性向量，并且可以检测方向性向量与感兴趣对象的交点。

该系统和方法的附加特征可以包括在知识库中搜索感兴趣对象的身份，并且当在知识库中没有找到感兴趣对象的身份时，启动学习过程。学习过程可以是神经网络。可以通过获得环境深度信息并将深度信息与360度图像相结合来生成环境图。深度信息可以从红外传感器、同时定位和绘图过程或从神经网络获得。环境图可以是显著性图(saliencymap)和/或可以包括环境的语义解析。该系统和方法可以进一步估计个体的视线和/或手势方向。关注的方向可以由视线和/或手势来确定。视线可以使用红外传感器获得。

本公开的另一实施例可以包括用于定位和识别对象的系统。该系统可以包括单目相机，该单目相机被配置为捕获包括个体和感兴趣对象的无约束环境的360度图像。红外深度传感器可以被配置为生成无约束环境的3D深度图。该系统还可以包括知识库和处理器。处理器可以被配置为从360度图像和深度图生成显著性图，并确定来自个体的关注方向。处理器还可以生成表示关注方向的三维方向性向量，并将来自个体的三维方向性向量投影到环境图上。处理器还可以检测三维方向性向量与感兴趣对象的交点，并使用与感兴趣对象相关的捕获图像数据在知识库中搜索感兴趣对象的身份。

附图说明