[发明专利]用以增大显示区域的三维对象跟踪

说明书

在一些示例中，位于便携式电子设备前方或周围的诸如桌面之类的表面可以被用作与便携式电子设备交互的相对大的表面，便携式电子设备通常具有小型显示屏。用户可以使用诸如手指、笔或手写笔的任何对象在表面上书写或绘画。该表面也可被用于模拟部分或全尺寸键盘。使用相机来感测对象的三维(3D)定位或运动可以使得能够使用表面上方的手势、方向性的输入以及将真实对象捕获到由电子设备处理或存储的文档中。一个或多个对象可以被用于操纵由便携式电子设备显示的元素。

背景技术

智能手机、平板电脑和许多类型的信息设备的普及推动了对便携式和功能电子设备的触摸屏和其他显示器的需求和接受度。触摸屏和其他显示器可以在医疗领域和重工业以及自动取款机(ATM)以及诸如博物馆显示器或房间自动化等自动服务终端中找到，其中键盘和鼠标系统不允许用户与显示器的内容进行适当的直观、快速或准确的交互。

通常，便携式电子设备具有相对较小的触摸屏，导致内容创建和修改方面的挑战，诸如在文字处理、绘图、绘制等方面。显示在由用户的手指操纵的触摸屏上的显示元素例如可以相对于显示元素相对较大，可以至少部分地被手指遮挡。而且，由于至少部分由于触摸屏的小型化，通过触摸的这种操作可能具有相对较低的分辨率。

发明内容

本申请描述了用户与由显示设备显示的元素的交互，其可能相对较小且便携。在便携式电子设备(例如，电话)前方或周围的表面(诸如桌面)可以被用作与便携式电子设备交互的相对较大的表面，该便携式电子设备通常具有小型显示屏。用户可以使用诸如手指、笔或手写笔的任何对象在表面上书写或绘图。该表面也可被用于模拟部分或全尺寸键盘。使用照相机来感测对象的三维(3D)位置或运动可以使得能够使用在表面之上的(例如悬停)手势、方向性的输入以及将真实对象捕获(扫描)到由电子设备处理或存储的文档中。一个或多个对象可以被用来操纵由便携式电子设备显示的元素。

本发明内容被提供以简化的形式介绍将在下文的具体实施方式中进一步描述的一些概念。本发明内容并非旨在识别所要求保护的主题的关键或基本特征，也不旨在被用作确定所要求保护的主题的范围的辅助手段。例如，术语“技术”可以指系统、方法、计算机可读指令、模块、算法、硬件逻辑(例如，现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD))和/或其他技术，如上文以及整个文件中所允许的。

附图说明

参考附图来说明具体实施方式。在这些图中，附图标记的最左边的数字表示附图标记在其中首次出现的附图。不同图中的相同附图标记表示相似或相同的项目。

图1是描绘本文描述的技术可以在其中被实现的示例环境的框图。

图2示出了用于与示例显示设备交互的手势或手的位置。

图3是包括图像处理模块的示例系统的框图。

图4是示例显示设备的正视图。

图5是鉴于示例显示设备的对象书写或做手势的透视图。

图6是鉴于显示设备在表面上方的一定距离的示例对象的透视图。

图7是鉴于示例显示设备的对象的透视图。

图8是鉴于示例显示设备的对象做手势的透视图。

图9是鉴于示例显示设备的多个对象书写或做手势的透视图。

图10是在示例显示设备中多个对象书写或做手势以建立用于显示的表面的区域的透视图。

图11是鉴于示例显示设备的对象做手势的透视图。

图12是用于确定用户界面的手势类型的示例过程的流程图。

图13是用于操作显示器和用户界面的示例过程的流程图。

图14是用于操作用户界面的示例过程的流程图。