[发明专利]多模态语法编译器

说明书

技术领域

人机交互接口，多模态用户交互。 

背景技术

多模态交互是指用户使用手写笔、键盘、语音、视频等多种输入模态来非常自然的完成计算系统上的任务。然而，尽管采用了高度精确的语音识别、手势识别和类似触摸屏的多通道设备，却几乎没有应用程序受益于这些技术。其中一个原因就是实现一个多模态交互接口的时间成本过高。使用标准的技术可以隐藏很多关于识别系统如何工作的底层技术细节。重用已有的语言处理程序而不是重新设计，可以节约开发者的时间和精力。此外，研发人员还可以彼此交换模块。一般来说，标准语言增强了重用性和移植性。标准语言技术是为帮助开发者快速实现多模态系统而提出的。 

W3C为互联网建立了一个多模态框架。这似乎并未由W3C实现，但是它提出了一组特性和标准，即可扩展多模态标记语言(EMMA)，多模态架构正是基于此语言。 

语音应用语言标签(SALT)对HTML进行了扩展，加入少量的HTML标签，以支持语音识别，语音合成，音频文件重播和音频捕获的XHTML加Voice4网页(通常简称为X+V)，其中的VoiceXML 2.0语音对话框控制语言被分割成模块嵌入到HTML中。 

Johnston描述了把多模态输入用单一CFG语法来表示，同时编译到一个多模态有限状态设备以用于解析。 

SALT和X+V均使用标准语言支持Web应用。语法包含了接口描述，交互流程，行为流程。这种方法是双刃剑。如果标准语言不支持研究人员或开发者所需的的功能，标准语言可能难以延续。这可能会限制所构建的原型或应用程序的灵活性。有时候，标准语言扼杀创造力。此外，SALT和X+V仅支持Web应用，不能应用到其他对话系统。 

Johnston方法的主要缺点是它们不能支持多模态的语义冗余输入，而且不能支持合成。 

发明内容

多模态语法编译器，旨在为快速开发基于对话的多模态应用程序服务。多模态语法编译器基于EMMA等技术制定了多模态输入的语法标准，多模态语法编译规则，产生的技术成果有：基于树结构的语法描述；语法文件格式；语法编辑器；语法编译器。 

多模态语法编译器的主要技术点有：语义树，语义图，基于XML的多模态语法编译器。 

1、语义树 

从用户的单向信息流到MMI应用通常包括用户的语音命令和/或做按键/笔划操作和/或视 觉运动和/或提供其他模态的输入。每个完整的信息输入代表一个特定的用户意愿，这个意愿需要被解析然后由应用程序执行相应的任务。例如，要删除一个文件，用户可以在文件浏览器里用笔圈住要删除文件的图标，同时说“删除”，用户的意图是要删除选定的文件，人机界面应用程序(这里的文件浏览器)应符合用户的要求，正确地找到该文件，然后使用正确的I/O函数来实现删除操作。在这种情况下，两个用户意图的关键因素，必须正确解析：动作(删除)，对象(选定的文件)。 

当一个人想表达他/她打算让别人做一些事情，他/她倾向于使用命令式的句子(以下简称命令)，命令通常是简洁、明确的，命令包含一个动词(行动)，一个名词或代词(动作行为的对象)。大部分情况下，用户与设备的交互属于这一范畴，因为它们比人们日常交流要简单，所以一个自然语言语法的简化版本就可以描述很多用户意愿。同时这个简化版的语法用树的形式来表示，被称作语义树。 

语义树分为四个层次，最高层或是根节点表示某一类命令的完整语义，第二层级的结点表示完整语义的组成部分(动词和对象)，第三层级的结点定义真实输入信息所有可能的模态来源，第四层级或是叶子结点包含用户的真实输入信息。 

2、语义图 

一个MMI应用可以有n条命令，所以就将有n个语义树，为了使得融合算法能快速的找到某条命令，语法编译器通过解析、合并这些树得到一个单独的图，这个图被称为语义图。 

如果同一棵语义树的两个叶子结点具有相同的实际输入信息，那么他们一定是相同的，所以应该共用同一个ID，这样处理的结果就是，这两个叶子结点合并成一个结点。 

合并非叶子结点A、B的前提条件是：A、B具有相同数量的子结点，A的任何一个子结点都能在B中找到相同的子结点。