[发明专利]一种多模态信息处理及交互系统

说明书

本发明涉及一种多模态信息处理及交互系统，用于解决多模态交互系统中存在的模态融合方式简单，对话机制呆板的问题。包括多模态信息认知模块，多模态信息融合模块，以及多模态对话管理模块，其中，多模态信息认知模块用于对用户各模态交互信息进行识别，多模态信息融合模块利用D‑S证据理论将用户所有模态的交互信息进行意图融合，确定用户的最终交互意图，并得到对应于用户最终交互意图的可供机器识别的形式化指令；多模态对话管理模块针对多模态人机交互场景，采用有限状态机与信息槽填充方法相融合的对话管理模型，用于控制对话流程以及生成应答；本发明有效提高了用户交互意图识别准确率，实现了自然灵活的人机交互。

技术领域

本发明涉及多模态信息融合技术，具体涉及一种有效利用多模态信息并构建可实现人机友好交互的多模态交互系统。

背景技术

20世纪后期以来，多模态人机交互的相关研究受到越来越多学者的关注与重视。国内外诸多高校实验室及科研机构都设立了相关的科研团队，比如卡内基-梅隆大学的人机交互学院、斯坦福大学的人工智能研究中心、麻省理工学院的媒体实验室等，而诸如谷歌、微软等大型公司也注入大量的人力、物力到多模态人机交互领域的研究中。由于多模态人机交互受到广泛的重视，多模态人机交互技术在近几十年来得到了迅速的发展，并取得了重大突破。

中国科学院自动化研究所的陶建华等人通过融合语音、手势以及面部表情等信息，建立了一套基于多模态对话系统的城市交通信息查询系统，数字虚拟人可根据操作者的语音查询信息做出解答。后又在机械臂上通过融合语音和图像信息实现了一套具有智能交互学习能力的机械臂写字系统，机械臂可以通过图像处理技术学习写字，并根据操作者的语音要求完成特定字的书写。

目前的多模态交互系统尚存在一些问题：(1)多模态交互系统缺乏有效的信息融合方法。多模态交互系统需要充分利各模态信息来感知用户意图、识别用户指令信息，从而最大程度体现多模态交互的价值、提高多模态交互效率。而目前各多模态交互系统在对各模态信息进行融合时仅对各模态信息进行简单组合，无法有效利用各模态蕴含信息。(2)多模态交互过程缺少自然、灵活的对话机制。多模态交互需要有自然、灵活的对话机制作为保障，目前多模态人机交互中的对话机制均较为单一，容错能力较差，提升了操作复杂度，难以实现人机友好交互。

发明内容

为有效解决多模态交互系统中存在的模态融合方式简单，对话机制呆板的问题，本发明首先建立了一种多模态信息融合模型，基于D-S证据理论，充分利用多模态信息进行意图融合，并基于槽填充方法组合该意图下各模态交互信息。其次，本发明提出有限状态机与槽填充方法相融合的对话管理模型，控制交互状态的转移并制定对应的交互策略。最后对系统中各模块进行整合，完成多模态人机交互系统，实现人机自然、友好交互。具体实施方案如下：

本系统包括三个功能模块：多模态信息认知模块，多模态信息融合模块，多模态对话管理模块，其中，

多模态信息认知模块：用于对用户各模态交互信息进行识别，得到用户在每种模态下的意图类型、每种意图类型对应的概率，以及每种意图类型对应的形式化指令，其中，形式化指令的功能是供机器执行相应任务，具体由完成相应任务所需要的必要参数构成，所述意图类型包括有明确意图和无明确意图两种，包括多种交互信息识别模块；

多模态信息融合模块：利用D-S证据理论将用户所有模态的交互信息进行意图融合，确定用户的最终交互意图，并得到对应于用户最终交互意图的可供机器识别的形式化指令；

多模态对话管理模块:针对多模态人机交互场景，采用有限状态机与信息槽填充方法相融合的对话管理模型，用于控制对话流程以及生成应答；

还设置了人机交互界面。

有益效果