[发明专利]有形界面对象的虚拟化

说明书

示例性系统包括立架，其被配置为将计算装置定位成靠近物理活动表面。所述系统进一步包括视频捕捉装置、检测器和活动应用。所述视频捕捉装置被联接用于与所述计算装置通信，并适于捕捉视频流，该视频流包括物理活动表面的活动场景以及用户物理地与之交互的一个或多个界面对象。检测器可执行以基于该处理来检测活动场景中的动作，并响应于对动作的检测，处理视频流以检测包括在物理活动表面的活动场景中的一个或多个界面对象。所述活动应用可执行以基于一个或多个检测到的界面对象而将虚拟信息显示在所述计算装置的显示器上。

相关申请的交叉引用

本申请要求提交于2014年5月21的标题为“活动表面检测、显示和增强”、序号为62/001,057的美国临时专利申请的利益，通过引用其整体而合并于此。

背景技术

本公开涉及对有形界面对象的虚拟化。

有形用户界面是用户能够物理地与之交互以操纵数字信息的一种物理环境。在有形用户界面开启了与数字信息交互的可能性的新范畴的同时，在实施这样的界面时仍存在显著的挑战。例如，现有的有形用户界面一般要求昂贵的高质量的传感器来将用户与该环境的交互进行数字化，其结果是整合了这些有形用户接口的系统对于大多数消费者来说过于昂贵。在其他情况中，方案较为复杂且/或用起来较为麻烦，且要求时常重新配置和/ 或维修。

发明内容

根据本公开的主题的一个创新方案，一种物理活动表面可视化系统包括立架、视频捕捉装置、检测器和活动应用。立架被配置为将计算装置定位成靠近物理活动表面，计算装置具有一个或多个处理器。视频捕捉装置联接为与计算装置通信。视频捕捉装置适于捕捉视频流，该视频流包括物理活动表面的活动场景以及用户物理地与之交互的一个或多个界面对象。检测器可由一个或多个处理器执行以基于处理来检测活动场景中的动作，并响应于对动作的检测，处理视频流以检测包括在物理活动表面的活动场景中的一个或多个界面对象。活动应用可由一个或多个处理器执行，以基于一个或多个检测到的界面对象而将虚拟信息显示在计算装置的显示器上。

此外，多种实施方式可进一步可选地包括一个或多个以下特征：检测器进一步可由一个或多个处理器执行以确定一个或多个界面对象中每一个的属性，且活动应用进一步可由一个或多个处理器执行以基于一个或多个界面对象中每一个的属性而执行一个或多个例程，从而生成对一个或多个界面对象进行可视化的对象相关信息；将虚拟信息显示在计算装置上包括显示对象相关信息以使得一个或多个界面对象对于用户可见；检测器进一步可执行以处理视频流从而通过接收活动场景的图像、处理该图像以确定包括在活动场景中的一个或多个界面对象中的每一个的一个或多个轮廓、基于一个或多个轮廓为一个或多个界面对象中的每一个构建对象描述，来检测包括在物理活动表面的活动场景中的一个或多个界面对象；活动应用进一步可执行以基于一个或多个检测到的界面对象，通过生成一个或多个界面对象中的每个的虚拟表示，并将一个或多个界面对象中的每个的虚拟表示叠加到显示在计算机显示器上的虚拟场景中的相应的虚拟对象上，来将虚拟信息显示在计算装置的显示器上；打分模块，其可由一个或处理器执行，其中活动应用进一步可执行以通过与打分模块协作而基于一个或多个检测到的界面对象来将虚拟信息显示在一个或多个计算装置上，从而计算一个或多个界面对象中每一个的虚拟表示与相应的虚拟对象之间的差，基于所计算的差生成得分，并基于所计算的差，将得分的表示包括在显示于计算机显示器上的虚拟场景中；计算一个或多个界面对象中每一个的虚拟表示与相应的虚拟对象之间的差包括计算一个或多个界面对象中每一个的虚拟表示的轮廓与相应的虚拟对象的轮廓之间的差；计算一个或多个界面对象中每一个的虚拟表示与相应的虚拟对象之间的差进一步包括确定相应的虚拟对象的形状、确定未填充在该形状中的像素的数量、确定该形状外部的像素的数量、确定该形状的像素的总数量、并使用如下公式计算变化微量：max(0,1-(sum(未填充像素)+sum(形状外部像素))/sum(形状总像素))*100；基于所计算的差生成得分进一步包括执行单调函数以在对活动场景中的一个或多个有形界面对象的操纵中改变用户对进展的感知。