[发明专利]多维感官人机交互系统及交互方法

说明书

技术领域

本发明涉及一种用于用户和计算机之间交互的多维感官人机交互系统及交互方法，确切地说是涉及一种结合头部姿势控制、语音控制和键盘鼠标操作等交互方式的人机交互系统，属于人机交互技术领域。

背景技术

随着人们对计算机的使用范围逐渐扩大，基于传统单一的鼠标键盘的人机交互方式已不能满足于人们日益增长的需求。例如：办公人员往往苦于多种程序之间的切换不够灵便，可是受限于只能运用双手对计算机进行操作而无法显著地工作效率。另外，对于某些特殊用户群体，如老年人、残疾人，鼠标键盘操作不便于或难于学习，他们急需一种新的人机交互方式解决他们的烦恼。

造成这些问题的原因在于传统的人机交互方式过于单一，仅仅依靠双手来对电脑进行操作。因此在人与机器的关系中，人们不得不去适应电脑，顺从于电脑。然而，人的感官是非常丰富的，不仅有视觉、听觉、嗅觉等，还有面部表情、头部和身体动作、平衡等运动感官。这些丰富的感官一旦广泛地应用到人与计算机之间的交流，将会给人机交互领域带来巨大的变革。而这正是新一代人机交互方式重要特征：多通道(Multimodality)。多通道旨在充分利用人的感觉通道和运动通道的互补特性来捕捉用户的意向，从而增进人机交互中的自然性。采用多通道、以自然方式交互，可以实现高效人机通信，也可以由人或机器选择最佳反应通道，从而不会使某一通道负担过重。

目前，国外正在进行研究的有关多通道人机交互技术的项目主要有美国MIT媒体实验室的多通道自然对话项目，欧洲信息技术研究战略规划(ESPRITII)的Amodeus项目中，以及法国IMAG的Coutaz和Nigay设计的系统MATIS(Multimodal Airline Travel Information System)中，用户可以利用键盘、鼠标、话筒或者它们的组合方式查询航班信息。而在我国，杭州大学工业心理学国家点实验室、中国科学院软件研究所共同承担了国家自然科学基金重点项目“多通道用户界面的研究”，探索了多通道界面的软件结构，并使用三维鼠标器、汉字手写体识别工具及语音输入软件等，研究了多通道界面的关键问题。

针对多通道的人机交互方式，国内外的研究者所取得的大多为理论研究成果，为日常生活场景开发的应用较少。同时，人机交互方式主要限于手势、语音等几个方面，头部动作跟踪在多通道人机交互组合方式中尚未见到。

发明内容

本发明的技术解决问题：克服现有技术的不足，提供一种多维感官人机交互系统及交互方法，使用户可同时利用多种交互方式对计算机进行丰富简单快捷的交互操作。

本发明是通过以下技术方案实现的：多维感官人机交互系统，如图1所示，包括：

用户信息采集模块：需要计算机有视频输入设备和音频输入设备作为硬件支持，用于向计算机分别输入用户头部姿态信息和语音信息，这两类信息通过不同的硬件输入计算机，因此采集信息的过程可同时进行而互不干扰。该模块从操作系统默认的视频输入设备和音频输入设备获取视频流和音频流，并将视频流和音频流送至用户信息识别分析模块中；如果该模块找不到视频输入设备或音频输入设备，则交由程序控制模块阻塞用户信息识别分析模块、头部姿态控制功能模块、语音控制功能模块中与头部姿态或语音有关的程序流程。

用户信息识别分析模块：对从用户信息采集模块中得到的视频流和音频流进行处理，得到能够直接处理的信息对象。对于视频流的处理，该模块从视频流中提取到彩色帧，经过颜色空间转换、均值化处理、图像缩放、边缘处理、计算积分图像和使用分类器搜索目标后，检测出每一帧中的头部图像，得到每一帧所识别出的头部图像的数组，并将每一帧所识别出的头部图像的数组送至头部姿态控制功能模块；对于音频流的处理，该模块调用相关的语音应用程序接口(SAPI)，通过语音识别引擎将语音转换成语音信息文本，交给语音控制功能模块使用；此外，该模块为不同种类的语音命令编写了不同的语法，由于每一种语法都是基于小词汇量的且都设置了识别的置信度下限，从而提高了语音识别的准确度。