[发明专利]一种基于手绘草图和手势输入判断处理的笔式交互方法

说明书

技术领域

本发明属于人机交互技术领域，具体的说是一种基于手绘草图和手势输入判断处理的笔式交互方法。

背景技术

传统的图形用户界面基于桌面隐喻，采用WIMP（Window，Icon,Menu,Pointing）交互范式，以鼠标、键盘作为交互设备实现人机对话。笔式交互基于纸笔的隐喻，通过写字板、触摸屏等输入设备，采集用户基于手写笔或手指的输入轨迹，帮助人们方便地捕捉想法、记录事件、进行抽象思考和形象的描述。

在基于图形交互的领域中，笔式交互根据所采集的用户输入信息，捕捉和理解用户意图，并映射至相关专业应用领域的图形符号集中的标准图形符号反馈显示，或映射为手势命令进行相应操作。因提供自然、便利的操作方式，笔式交互在计算机辅助设计、计算机动画与虚拟现实、可视化对象建模、军事标绘等诸多领域有广泛的应用需求。笔式交互的输入包括草图图形符号输入和手势输入，下面作简单介绍。

草图图形符号可分为基本图形和复合图形。基本图形是复合图形对象的基本组成元素，表现为封闭凸多边形、椭圆或者线/弧段等几何图形。复合图形通常由基本图形单元按一定的几何关系构成，对应于专业应用领域的图形符号集中的图形。

手势主要包括WIMP交互范式下的手势以及笔式交互界面下的手势。WIMP交互范式下的手势主要包括类似鼠标操作的点选手势、类似鼠标操作的拖放手势等，而笔式交互界面下的手势是指无需借助鼠标、键盘等传统设备，直接通过手或数字笔手绘输入的预定义的由简单几何图形所代表的手势，如：圈选手势，删除手势、复制手势等。为了表述方便，本说明书的后续部分将直接简称为WIMP手势和笔手势。手势根据实现功能又可分为图形对象拾取类手势、图形对象编辑类手势和操作状态控制类手势。其中，用户通过图形对象拾取类手势对图形对象进行选择、弃选操作，通过图形对象编辑类手势对图形对象进行拖动、删除等操作，通过操作状态控制类手势实现对当前操作的撤销、恢复等命令。为了表述的方便，图形对象拾取类手势和图形对象编辑类手势可并称为图形对象操作类手势。要特别说明的是，WIMP手势虽然是在WIMP交互界面中所定义的手势，但在笔式交互中仍可以通过手或数字笔完成WIMP手势的操作，为了和笔式交互界面下特有的笔手势区分开，所以本发明所述的笔式交互方法中的手势分为WIMP手势和笔手势两种手势，但两种手势都可以通过手或数字笔完成。

考虑到操作的便利性，笔手势被定义为可一笔绘制的简单图形，可归到基本图形类，在本说明书的后续部分为了表述的方便，所述基元即指基本图形单元，特指构成复合图形对象的基本图形，笔手势则特指代表图形对象操作或操作状态控制命令的基本图形。其中，笔手势与基元存在二义性定义的可能性。

目前对笔式交互领域的研究有如下的一些方法。如李恒等申请的“一种复合图形在线识别方法”（ZL201010295238.3）中，提出了一种手绘草图识别方法，不涉及到交互反馈机制的设计，也不涉及到手势交互。又如Trembley等申请的“Sketch recognition and enhancement”（United States Patent: 7515752），提出了一种手绘草图识别及规整化方法，该专利申报点主要侧重于手绘草图识别及规整化方法，在交互反馈上仅限于根据识别结果对笔划和草图图形符号的规整化，不涉及到手势交互，缺乏在保证用户输入连续性的情况下的交互反馈机制的设计。再如朱湛峰等申请的“一种基于手持设备的依靠快捷图形识别调用功能的方法”（专利申请号：200810119196）,提出了一种手势识别方法，不涉及到草图图形符号的识别反馈，也不涉及交互反馈机制的设计。再如Jian Wang等申请的“Unifield digital ink recognition” （United States Patent: 20070821858），提出了一种数字墨水的统一识别方法，能够对草图符号、手势等在无状态切换的情况下统一识别，该方法侧重于不同类数字墨水数据的采集、训练、建模等，不涉及交互反馈机制的设计。在专利“一种基于图形符号草图在线识别的电子标绘方法”（申请号：201218007969.3）中，提出了一种基于军队标号草图和手势符号识别的方法，该方法不支持WIMP手势交互，所支持的笔手势种类有限，且仅限于图形对象操作类手势，不涉及操作状态控制类手势，笔手势与基元严格区分开，且草图符号输入和手势输入需通过点击按钮进行显式状态切换。

目前国内外在笔式交互方面的研究，具体存在以下方面的问题：

（1）大部分研究侧重于对草图图形符号识别方法的研究，缺乏对交互反馈机制、手势交互的研究。