[发明专利]用于在无约束环境中检测人类视线和手势的系统和方法

权利要求书

1.一种用于定位和识别对象的系统，所述系统包括：

单目相机，被配置为捕获包括个体和感兴趣对象的无约束环境的360度图像；

红外深度传感器，被配置为生成所述无约束环境的三维深度图；

知识库；和

处理器，被配置为：

从所述360度图像和所述三维深度图生成显著性图；

确定所述个体的关注方向；

生成代表所述关注方向的三维方向性向量；

将来自所述个体的所述三维方向性向量投影到所述显著性图上；

检测所述三维方向性向量与所述感兴趣对象的交点；和在所述知识库中搜索在所述方向性向量与所述感兴趣对象的交点处检测的所述感兴趣对象的身份。

2.根据权利要求1所述的系统，其中所述单目相机是全景相机。

3.根据权利要求1所述的系统，其中所述处理器还被配置为当在所述知识库中没有找到所述感兴趣对象的所述身份时，启动学习过程。

4.根据权利要求3所述的系统，其中，所述学习过程包括神经网络。

5.根据权利要求1所述的系统，其中，所述360度图像包括拼接在一起的多个图像。

6.根据权利要求1所述的系统，其中，从神经网络获得环境深度信息，其中生成环境图包括获得所述环境深度信息和将所述环境深度信息与所述360度图像相结合。

7.根据权利要求1所述的系统，其中，所述三维深度图包括所述无约束环境的语义解析。

8.根据权利要求1所述的系统，其中所述处理器还被配置为估计所述个体的视线，其中，所述关注方向根据所述视线确定。

9.根据权利要求8所述的系统，其中，使用红外传感器来估计所述视线。

10.根据权利要求1所述的系统，其中所述处理器还被配置为估计所述个体的手势方向，其中，所述关注方向根据所述手势方向确定。

11.根据权利要求1所述的系统，其中所述处理器还被配置为估计所述个体的视线和手势方向，其中，所述关注方向根据所述视线和所述手势方向确定。