[发明专利]视觉焦点和手部运动跟踪协同驱动的目标交互方法和系统

摘要

视觉焦点和手部运动跟踪协同驱动的目标交互方法，包括如下步骤：视觉焦点跟踪、手部运动跟踪、融合视觉焦点和手部运动的目标交互。本发明还提供了实现本发明方法的系统，包括依次连接并馈送数据的以下模块：视觉焦点跟踪模块、手部运动跟踪模块、融合视觉焦点和手部运动的目标交互模块。

主权项

1.视觉焦点和手部运动跟踪协同驱动的目标交互方法，包括如下步骤：(1)视觉焦点跟踪；利用带有红外光源的摄像装置拍摄人眼图像，并对人眼图像进行二值化处理，然后用高斯核函数进行滤波，去除人眼图像中的噪声；对人眼图像进行特征提取，得到人眼瞳孔中心和红外光反射光斑的中心，并计算两者构成的向量，最后进行标定过程，建立该向量与用户在大型显示界面视觉焦点之间的映射关系，进一步通过拟合计算得到其他视觉焦点的平面坐标；(2)手部运动跟踪；利用已有手部运动跟踪装置获取人的手部运动模型，根据手部运动特征对“抬起”、“缩放”、“挥手”的手势进行跟踪与识别；“抬起”手势的特征是手部运动范围大于一定距离H，并且运动方向是垂直从低处向高处运动；“缩放”手势的特征是手部从握拳状态到手掌张开状态(放)，或者从手掌张开状态到握拳状态(缩)，且设定握拳时的手心球半径为Rw,手掌张开时的手心球半径为Rz,要求Rw/Rz>K；“挥手”手势的特征是手部运动方向为水平方向从左向右或从右向左运动，并且运动速度大于S；(3)融合视觉焦点和手部运动的目标交互；光标圆心为点a，光标半径为r，用户用视觉焦点控制圆形光标的移动，当光标覆盖目标后，用户通过“抬起”手势进行选择确认，最终选中目标；当目标的尺寸太小而光标难以覆盖时，用户可以通过“缩放”手势扩大光标半径r；光标稳定；设定用户当前实际视觉焦点为g，实际视觉焦点与光标圆心之间的距离为d，当用户的视觉焦点在光标半径范围内(d<＝r)时，光标的位置不会发生改变，只有当用户的视觉焦点发生较大范围的转移，即视觉焦点超出光标范围(d>r)时，才会相应改变光标的位置；这种光标一方面消除了视觉焦点跟踪精度误差导致的不稳定性，即用户在选择目标时则侧重于光标的稳定性，另一方面又能根据幅度较大的视觉焦点转移而及时调整光标位置，用户在移动光标时侧重于光标的灵活性，有效帮助用户更好的选择小尺寸目标；二次选择；大型显示界面上有大量的小尺寸目标紧密排布，用户通过视觉焦点跟踪进行初步定位后，利用手部运动跟踪，通过二次选择完成既定目标的选择；首先用户通过“缩放”手势扩大光标的尺寸，降低选择小尺寸目标时对视觉焦点跟踪精度的要求；所有被光标覆盖的目标都会被添加到预选列表中；预选列表中存在一个选择指针，当用户通过“抬起”手势确认选择时会选中指针指向的目标，该目标会变成深色；用户通过“挥手”手势控制选择指针的移动，当其指向用户想要选择的目标时，再次通过“抬起”手势确认选择，完成对既定目标完成准确选择。优化机制；当目标分布过于密集时，将导致光标同时覆盖的目标过多，使得利用二次选择进行目标筛选的时间过长，选择效率明显降低。为此，根据目标被选择的可能性高低设置优先级，优先级高的目标将更容易被选中。具体的方法是：用户使用视觉焦点光标进行选择时，记录用户过去一段时间T内的所有视觉焦点的坐标，并将这些视觉焦点的坐标平均值作为当前用户最可能的视觉焦点坐标，该视觉焦点称为预测视觉焦点；目标位置与预测视觉焦点越近，其优先级就越高；反正亦然。此外，预选列表中目标优先级还将根据预测视觉焦点位置的变化而相应动态改变；i为预测视觉焦点，其与最右侧的目标最近，因此最右侧的目标优先级最高，所以将其设置为预选列表中的第一位，自动将其进行预选，此时用户不需要“挥手”进行多次切换，而直接用“抬起”手势确认选中即可，提高了选择效率。