[发明专利]视觉焦点和手部运动跟踪协同驱动的目标交互方法和系统

说明书

视觉焦点和手部运动跟踪协同驱动的目标交互方法，包括如下步骤：视觉焦点跟踪、手部运动跟踪、融合视觉焦点和手部运动的目标交互。本发明还提供了实现本发明方法的系统，包括依次连接并馈送数据的以下模块：视觉焦点跟踪模块、手部运动跟踪模块、融合视觉焦点和手部运动的目标交互模块。

技术领域

本发明涉及大型显示界面上目标交互方法和系统。

背景技术

随着投影屏幕、大型LED显示器等在人们工作、生活中逐渐得到普及，面向大型显示界面的人机交互也得到了迅速发展。目标选择是大型显示界面交互场景下的的重要操作，通常分为两步：1)定位要选择的目标；2)然后确认当前所定位的目标。而传统的鼠标操作方式，使得用户在大型显示界面上需要利用鼠标进行长距离的光标移动，增加了用户的操作负荷。在这种背景下，基于人眼视觉焦点跟踪的交互方法已逐步应用于面向大型显示界面的目标选择操作，因为视觉焦点跟踪具有很强的指向性，可以较快完成目标的定位和选择。此外，视觉焦点在一定程度上表征了用户的交互意图，进一步提高了隐式交互的自然性。因此本发明提出了视觉焦点和手部运动跟踪协同驱动的目标交互方法和系统，实现多通道融合驱动的目标选择。通过视觉焦点指向目标、手部运动确认目标的交互机制实现大型显示界面上的目标选择，特别是当目标的个体尺寸较小、目标之间间距较小时，通过手部运动改变视觉焦点跟踪光标的选择范围，不仅可以提高视觉焦点跟踪指向精度，还可以降低操作难度；同时，结合光标稳定、二次选择，及其优化机制，实现更加准确和快速的目标选择。

发明内容

本发明要克服现有技术的上述缺点，提供了视觉焦点和手部运动跟踪协同驱动的目标交互方法。

本发明的视觉焦点和手部运动跟踪协同驱动的目标交互方法和系统，包括如下步骤：

(1)视觉焦点跟踪；

(2)手部运动跟踪；

(3)融合视觉焦点和手部运动的目标交互；

本发明还提供了视觉焦点和手部运动跟踪协同驱动的目标交互系统，包括依次连接并馈送数据的以下模块：

(1)视觉焦点跟踪模块；

(2)手部运动跟踪模块；

(3)融合视觉焦点和手部运动的目标交互模块；

本发明的优点在于：提出了视觉焦点和手部运动跟踪协同驱动的目标交互方法，通过视觉焦点指向目标，手部运动进行选择确认，实现大型显示界面上高效、自然的目标选择。并且在目标尺寸小、目标间距小时，通过视觉焦点光标稳定、二次选择，以及相应的优化机制，对交互过程进行全面改善，有效降低了对视觉焦点跟踪的精度要求，在大型显示界面上的交互任务完成效率和准确度得到了明显提升。

附图说明

图1是本发明方法的流程示意图。

图2a～图2b是本发明方法的可缩放的视觉焦点跟踪光标示意图，其中图2a是初始状态的视觉焦点跟踪光标；图2b是通过“缩放”手势放大后的视觉焦点跟踪光标。

图3a～图3b是本发明方法的改进的视觉焦点跟踪光标示意图，其中图3a是初始状态的视觉焦点跟踪光标；图3b是在视觉焦点大幅移动后，相应移动到新的位置的视觉焦点跟踪光标。

图4是本发明方法的二次选择功能示意图。

图5a～图5b是本发明方法的基于预选列表的目标选择示意图，其中图5a是覆盖多个密集目标的视觉焦点跟踪光标，当前被选中的目标在最左端；图5b是引入预选优化机制后，覆盖多个密集目标的视觉焦点跟踪光标，当前被选中的目标在最右端。

图6是本发明系统的基本逻辑结构示意图。

具体实施方式