[发明专利]用于确定三维对象上注视点的方法和装置

权利要求书

1.一种用于确定被摄体的注视端点的系统，该系统包括：

眼睛追踪单元，该眼睛追踪单元适于确定被摄体的两只眼睛的注视方向；

对象追踪单元，该对象追踪单元适于确定被摄体的头部和/或眼睛追踪单元相对于参考坐标系统的位置，该位置包括地点和方位；

3D场景结构表示单元，该3D场景结构表示单元借助参考坐标系统中的坐标、通过借助真实世界场景的三维的对象的3D位置和/或三维的对象的3D结构表示三维的对象，来表示真实世界场景和场景中所包含的三维的对象，从而提供场景的3D结构表示；

计算单元，该计算单元用于基于被摄体的两只眼睛的注视方向和眼睛追踪单元位置的交点来计算三维的注视端点，并且用于基于所述注视端点和3D场景结构表示来确定被摄体正在注视的3D场景中的三维的对象。

2.根据权利要求1所述的系统，其中被摄体正在注视的所述对象通过选择3D位置和/或结构最接近所计算的注视端点的对象而被确定为被摄体正在注视的对象。

3.根据权利要求1所述的系统，其中

所述眼睛追踪单元适于确定所述两只眼睛的所述注视方向的概率分布，并且其中

所述计算单元基于所述两只眼睛的所述注视方向的所述概率；分布来为一个或多个对象确定所述对象被注视的概率。

4.根据权利要求1-3中的任一项所述的系统，该系统还包括：

场景相机，该场景相机适于从任意视点获取场景的一个或多个图像；

模块，该模块用于将3D注视端点映射到由场景相机拍摄的场景图像的图像平面上，其中由一些位置确定或对象追踪机构来获知或确定场景相机的位置并且通过执行将3D注视端点投射到所述场景相机的图像上来执行映射。

5.根据权利要求1-3中的任一项所述的系统，该系统还包括：

模块，该模块用于基于3D结构表示而生成如从任意视点所看到的场景图像；

模块，该模块用于将3D注视端点映射到由所述场景图像生成模块生成的图像的图像平面上，其中通过执行将3D注视端点投射到由所述场景图像生成模块生成的所述场景图像的图像平面上来执行映射。

6.根据权利要求1-3中的任一项所述的系统，其中所述眼睛追踪单元是头戴式眼睛追踪器。

7.根据权利要求1-3中的任一项所述的系统，其中

所述3D场景结构表示单元包括3D结构检测单元，该3D结构检测单元适于确定场景的对象的3D结构和位置或它们在参考坐标系统中的几何表面结构以获得场景的3D结构表示，其中

所述3D结构检测单元可选地包括以下之一：

激光扫描器，该激光扫描器能够与相机组合；

与发射结构光的光源一起的光学扫描器；

立体相机系统；

超声波检测器。

8.根据权利要求1-3中的任一项所述的系统，该系统包括以下的一项或多项：

3D注视端点被映射到由多个不同的场景相机拍摄的一个或多个场景图像和/或从不同视点拍摄的场景图像；

对于多个不同被摄体，3D注视端点被映射到相同的场景图像；

3D注视端点随着时间变化被映射到或聚集到相同的场景图像。

9.根据权利要求8所述的系统，其中

随着时间所映射的3D注视端点与相应的观看频率或累积的观看时间一起通过可视化3D注视端点来在场景图像中进行可视化，该3D注视端点能够根据不同被摄体进行区分。

10.根据权利要求9所述的系统，其中所述可视化使用以下的一项或多项：

热图；

焦点图；

注视重心；

观看时间的自动轮廓。