[发明专利]结合交互式表面来使用物理对象

说明书

背景技术

交互式表面提供用于与计算机实现的应用进行交互的替换机制。典型的交互式表面包括用于在该交互式表面上显示信息的投影机制。交互式表面还包括用于检测用户在与该交互式表面进行交互过程中作出的选择的输入机制。例如，交互式表面可以检测用户何时触摸了该交互式表面的特定部分。通过这样的交互，用户可以操纵交互式表面所显示的数字对象并执行其他操作。

交互式表面技术还有很大的改进空间。例如，交互式表面所提供的输入机制有时不方便使用(因为，例如，用户可能难以使用这一输入机制输入信息或操纵数字对象)。输入机制还可提供不令人满意的精度和响应性。

此外，交互式表面可能使用户混淆。在多个用户参与同一交互式表面时，这尤其是一个问题。在这一场景中，交互式表面可能因多个数字对象而变得混乱。此外，对于大型交互式表面，用户可能难以操纵他们不可及的一些数字对象。

此外，交互式表面可能不能提供适应用户自然地分组进行交互的方式的协作式环境。例如，协作式环境可能不能提供用于在会议参与者之间共享信息的方便机制，交互式表面可能同样不能提供用于协作式地操作共享的信息的合适机制。

现有交互式表面技术还可能有另外的缺点。

概述

在一个说明性实现中，描述了用于允许用户使用物理设备(“设备”)参与交互式表面的交互式管理模块(IMM)。IMM对设备在所选位置处的放置以及在交互式表面上的方向进行检测。作为响应，IMM在交互式表面上显示数字对象以与该设备相关联地使用。该数字对象可被放置于接近该设备；此外，该数字对象可以具有与该设备相同的方向。在一种情况下，该设备是键盘类设备并且该数字对象提供呈现用户使用该键盘类设备输入的信息的虚拟表示的显示界面。

根据另一说明性方面，IMM可以与被同时放置于交互式表面上的多个物理输入设备进行交互，从而适应将交互式表面用于协作式环境。

根据又一说明性方面，IMM显示将该设备与该数字对象进行关联的虚拟属性。例如，IMM可以在该数字对象和该设备两者周围呈现边界(诸如此类)；各边界可被分配同一颜色以传达该数字对象与该设备之间的联系。作为替换或补充，虚拟属性可以与将该数字对象与该设备连接起来的线相对应。

根据又一说明性方面，用户可以移动该设备来接近另一已有显示对象。作为响应，IMM可以自动地将该设备与该另一显示对象进行关联。

根据又一说明性方面，用户可以移动另一已有显示对象来接近该设备。作为响应，IMM可以自动地将该已有显示对象与该设备进行关联。

根据又一说明性方面，IMM可以检测接近首先提到的设备的第二设备的放置。作为响应，IMM可以将这两个设备与单个数字对象进行关联。在一个特定示例中，第一用户可以使用第一设备来输入第一选择并且第二用户可以使用第二设备来输入第二选择。在将第一和第二设备拿到一起时，IMM可以将在这两个用户标识的选择进行归并，从而创建组合选择。

根据又一说明性方面，IMM可以在交互式表面上这样一处位置显示新数字对象：a)在被认为适当的程度上满足至少一个放置约束；以及b)减少该新数字对象与交互式表面上的其他已有对象之间的冲突。

根据又一说明性方面，该设备是鼠标类设备。IMM通过确定该鼠标类设备在交互式表面上的绝对位置和该鼠标类设备在交互式表面上的方向来操作。IMM使用这一信息来定义参照系。IMM相对于所定义的参照系来将光标显示在交互式表面上。该参照系可以相对于交互式表面的最接近边(或与交互式表面相关联的其他参考对象)或鼠标类设备自身的方向等来选择。

根据又一说明性方面，IMM允许用户激活该鼠标类设备的触摸模式，于是光标模拟手指接触点。

根据又一说明性方面，IMM允许用户使用光标接触点和手指接触点的任何组合来修改数字对象。例如，用户可以使用一个或多个光标接触点(例如，由同时放置于交互式表面上的多个输入设备控制)来操纵不可及的数字对象。

根据又一说明性方面，IMM可以维护交互式表面(和/或被放置于交互式表面上的各单独的数字对象和/或物理对象)在不同的相应时间点的多个图像表示。用户可以检索这些图像表示以调查针对交互式表面采取的操作的历史。