[发明专利]基于脚部姿势与动作的交互控制方法

说明书

技术领域

本发明涉及一种交互控制方法，特别涉及基于脚部姿势与动作的交互控制方法。

背景技术

当前的人机交互方式严重依赖于用户的双手。传统的输入设备，比如键盘、鼠标、摇杆、轨迹球、手写板等，都是使用手操作的设备。近些年来，随着计算机图形学和传感器技术的发展，研究人员试图为用户提供许多新型的，更自然的交互方式。然而这些新的交互技术仍然主要基于手部的操作，比如多点触控（multi-touch）和手势（hand gesture）。实际上，人们在日常生活中经常能遇到一些情况，在这些情况下，使用手进行交互并不方便或者并不是最佳的。 

人们在现实世界中常常用脚来完成各种各样的工作。比方说开车，左右脚分别用来控制油门，离合器和刹车；弹钢琴的时候，脚用来控制延音和弱音踏板。另外还有踢踏舞和足球等文体活动。在除手之外的人体其它部位中，脚便是在日常生活中使用最多、最灵活的另一双操纵物理对象的工具。人手的动作姿势我们叫做“手势”，那么脚的动作姿势我们可以称为“脚势”。在人机交互领域，对脚势与计算机交互的研究也有20多年的历史了，但是相比于人体的其它部位，对这个方向的研究仍然很少。

基于脚势的交互技术可以根据交互的复杂程度分为四类： 

1. 使用脚完成简单的“开-关”操作（toggle action）。这类交互任务在现实生活中较多，比如使用脚踩式开关的落地灯，脚踩控制的冲水马桶等。Glasgow大学的Crossan等人提出的一种与移动设备进行交互的方法就属于此类，用户利用脚敲击地板的动作（foot tapping）完成菜单的选择。更进一步的研究是使用脚势作为触发命令的快捷方式，将脚势与命令一一对应。例如Scott等人的工作就是这方面的一个例子，它有点像是符号手势在脚部的延伸。我们在本章后边将要为大家介绍的“脚压点击”控制方式，就是利用脚部的不同姿势来实现计算机指令的选择和控制。

2. 使用脚来控制、输入一个参数。现实中的例子如通过踩脚踏板的快慢来控制缝纫机的速度，用脚控制乐器的音量和效果等。一个人机交互方面的例子是后边将要介绍到的Foot Menu，使用脚后跟的旋转信息进行菜单选择。 

3. 用脚来控制、输入多个参数。比如开车，脚就控制了离合器、油门和刹车。而我们的Foot Menu系统在双脚的配合操作下，能实现对指令菜单的打开、选择、确认等操作。

4. 智能鞋子（intelligent footwear）。智能鞋子一般装配了多种传感器和微控制器，但同时又像一般的鞋子一样可以被用户穿戴在身上。在日常生活中，智能鞋子可以帮助用户随时随地的获取信息，提供对多种交互任务的支持。一个著名的例子就是MIT的Paradiso等人设计开发的Working Gait Shoe。这一智能鞋子可以通过多种传感器检测用户的步态，并据此提供实时的音乐反馈，来帮助用户进行交互性的恢复治疗。

我们通过对现有技术的研究结果进行分析可以看到，由于脚在执行速度、灵活性和准确性等方面都与手有差距，因此，脚并不适合用于复杂的、精细的以及空间操纵之类的交互任务。而且同时我们也注意到，脚在人们的日常生活中的主要功能就是支撑身体和行走，这就大大限制了基于脚势的交互技术能够适用的场合。在虚拟现实之外，当用户行走时，脚一般是不能同时用于交互的，只有当用户不使用脚的行走功能时（如站立不动，坐着或者躺着等）脚被解放出来，才能用于交互任务。而本发明则能很好的解决以上的这些问题。