[发明专利]基于手写识别的人机交互方法和系统及运行该系统的设备

说明书

技术领域

本发明涉及一种实现人机交互的系统和方法，更具体地讲，涉及一种通过手写识别技术来执行相应功能，从而实现人机交互的系统和方法以及运行基于手写识别的人机交互系统的设备。

背景技术

由于理想的人机交互要求以人为中心，其发展的趋势要求更加接近于自然的形式，因此基于自然交互方式的多通道人机交互逐渐发展起来。多通道人机交互综合采用视觉、语音等新的交互通道、设备和交互技术，使用户利用多个通道以自然、并行、协作的方式进行人机对话，通过整合来自多个通道的精确的和不精确的输入来捕捉用户的交互意图，提高人机交互的自然性和高效性。

随着手写识别技术的发展，商用化程度越来越高，从而利用自然语言进行人机交互的方式成为了可能。

当前广泛采用的图形用户界面的优点是，与传统的字符命令相比，形象生动，可以提高视觉目标的搜索效率，其主要缺点是由于设备包含的文件或功能种类很多，如果将其图标都显示出来需要占用较多的屏幕空间，特别是对于屏幕有限的移动终端来说，过多的应用内容不可能全部同时展现出来，这就要求采用分层菜单的结构，这种分层结构往往是固定的，用户必须熟悉菜单的所有构成，记忆各个功能在层级菜单中的对应位置。另外，采用分层菜单结构，会造成用户无法进行直接操作使用，例如当用户希望使用某项应用时，如果该应用所处菜单位置并非主菜单，就不能直接一步执行，而必须进入到该级菜单后才能选择执行。以移动电话为例，根据相关研究统计发现，用户在使用移动电话来执行常用功能时，需要按键的平均次数在3次以上，这便是由于固定的分层菜单结构造成的。如何为用户提供一种更为快捷和方便的操作方式是需要进一步解决的问题。

多通道人机交互是根据以人为本的策略，让用户利用多个通道以自然、并行、协作的方式进行人机对话。例如：现在出现了语音UI(用户界面)，如语音拨号，语音导航等，提供了一种与原有的键盘和鼠标不同的交互通道，方便了用户的使用。但是我们很容易发现，由于语音的识别准确率普遍较低，并且受环境噪声的影响很大，语音UI并不能适用于各种环境。另外由于人们的喜好不同，很多人并不适应在公众场合对着机器说话。最为重要的是语音的差异变化范围较大，对识别准确率和识别范围的影响远远大于手写的变化差异的影响，即手写识别的范围和识别准确率对不同用户来说都是比较稳定的，而语音识别的波动较大。

因此，需要提供一种符合用户使用习惯、方便并简化用户操作的人机交互的系统和方法。

发明内容

为了解决本发明的上述问题，提供了一种基于手写识别的人机交互系统和方法，根据本发明的人机交互系统和方法，能够方便用户操作，符合用户使用习惯，而且能够弥补其他交互方式存在的不足。

根据本发明的一方面，基于手写识别的人机交互系统包括：手写输入单元，用于对用户手写输入的字符进行手写笔迹数据采集；配置注册单元，用于配置手写执行功能的范围、属性，以及将手写输入字符注册为自定义手写字符；识别执行单元，用于对手写输入的字符进行识别，显示并执行与手写输入字符对应的功能；存储单元，用于存储手写输入单元、配置注册单元、识别执行单元操作需要的数据以及执行操作所生成的数据。

根据本发明的一方面，配置注册单元使用手写输入单元采集的手写笔迹数据，进行自定义手写字符注册或配置修改。

根据本发明的一方面，存储单元存储手写输入的字符的笔迹数据、特征模板、手写输入字符与功能的对应关系、功能属性、多媒体资源和系统运行所需的中间结果。

根据本发明的一方面，配置单元中配置的执行功能的属性包含该功能对应的名称、序号、图标、图像或视频。

其中，功能指功能集合，功能集合中包含的功能数目大于等于1。手写字符包含图案、单个字符、由多个字符组成的短语或句子。

根据本发明的一方面，识别执行单元包括：识别查询单元，用于从手写输入单元提供的笔迹数据中提取特征，通过与存储单元中存储的特征模板或笔迹数据进行相似性比对来对输入字符进行识别，给出候选字符组，以及与候选字符组对应的功能组；界面生成显示单元，用于根据识别查询单元识别查询得到的功能组自动生成多媒体界面或者菜单列表，并显示给用户，以便用户进行选择；选择执行单元，用于使用户从界面生成显示单元显示的多媒体界面或者菜单中选择要执行的功能，然后执行该功能，或者直接执行识别查询单元提供的结果指代的功能。