[发明专利]一种多模态信息处理及交互系统

权利要求书

1.一种多模态信息处理及交互系统，其特征在于包括三个功能模块：多模态信息认知模块，多模态信息融合模块，多模态对话管理模块，其中，

多模态信息认知模块：包括多种交互信息识别模块，用于对用户各模态交互信息进行识别，得到用户在每种模态下的意图类型、每种意图类型对应的概率，以及每种意图类型对应的形式化指令，其中，形式化指令的功能是供机器执行相应任务，具体由完成相应任务所需要的必要参数构成，所述意图类型包括有明确意图和无明确意图两种；

多模态信息融合模块：利用D-S证据理论将用户所有模态的交互信息进行意图融合，确定用户的最终交互意图，并得到对应于用户最终交互意图的可供机器识别的形式化指令；

多模态对话管理模块:针对多模态人机交互场景，采用有限状态机与信息槽填充方法相融合的对话管理模型，用于控制对话流程以及生成应答；

所述的多模态对话管理模块具体为：将人机交互过程分为6个状态：等待交互、意图识别、槽填充、询问、信息确认以及信息表述，分别对应于有限状态机中的6个节点，其中，

所述的等待交互：在用户与系统进行交互时，首先处于等待获取交互信息的状态；

所述的意图识别：当获取用户交互信息后，系统利用多模态信息融合方法对用户的交互信息进行意图识别，如意图识别失败则重新进入等待交互状态，若成功识别用户意图则转移至“槽填充”状态；

所述的槽填充：结合多模态信息认知模块识别后的交互信息，对信息槽进行填充；如果信息槽填充完成，则跳转至“信息确认”状态，否则跳转至“询问”状态，直至槽填充完成；

所述的询问：系统根据信息槽的缺省状况不断进行询问以获取新的槽位信息，在获取信息后跳转至“槽填充”状态；

所述的信息确认：在信息槽填充完毕后系统请求用户进行信息确认，若要对信息进行修改则跳转至“槽填充”状态，若信息确认无误则跳转至“任务描述”状态；

所述的任务描述：根据信息槽填充完成后的指令信息描述机器所需执行的任务，至此对应于该任务的多模态人机交互过程结束。

2.根据权利要求1所述的一种多模态信息处理及交互系统，其特征在于，

所述的多种交互信息识别模块包括但不限于语音指令识别模块、手势识别模块。

3.根据权利要求2所述的一种多模态信息处理及交互系统，其特征在于，所述的D-S证据理论用于将多模态信息认知模块得到的各模态信息视为一组有效信息，对组中包含的各个模态的识别结果进行决策级融合，进而确定用户的最终交互意图，具体方法如下：

将用户实际交互意图识别为某一意图视为一个事件，则一次交互过程中所有可能事件共同构成集合Θ＝{θ₁,θ₂,…,θ_c}，该集合也被称为识别框架；

集合Θ的幂集是集合Θ及其所有子集所构成的集合，记为2^θ，而基本概率分配(BasicProbability Assignment,BPA)或称mass函数，为2^θ的任意子集A分配属于[0,1]]的值，识别框架Θ所有子集的基本概率分配总和为1，Φ表示交互过程中不可能的事件，如下所示：

m(Φ)＝0                   (1)

将来自每个模态的识别意图对应的概率作为独立的mass函数，对于由语音指令理解模型和手势识别模型所获得的mass函数分别记为m₁(·)和m₂(·)，使用Dempster合成规则将证据进行组合，如下式所示：

      

其中表示对各模态证据进行组合，即对各模态下识别的所有可能的意图进行组合，m₁(A)表示第一种模态下所有可能意图A的概率集合，m₂(B)表示第二种模态下所有可能意图B的概率集合，m(C)表示两种模态下所有可能意图进行组合后的用户意图C的概率集合，m(C)中概率最大的意图即为用户的最终交互意图。

4.根据权利要求1所述的一种多模态信息处理及交互系统，其特征在于，

设置了多模态人机交互界面，用于方便用户对计算机进行控制同时反馈给用户计算机处理后的信息。