[发明专利]一种多模态交互的方法

权利要求书

1.一种多模态交互的方法，用于机器人，其特征在于，包括:

机器人获取多模态交互信息，所述多模态交互信息包括：文字信息、语音信息、视觉信息、动作信息中任一项或多项；所述多模态交互信息是由用户发出的或者是由用户输入给所述机器人的；

根据获取的所述多模态交互信息，确定与所述多模态交互信息相匹配的交互方式；

按照所述确定出的所述交互方式与所述用户进行交互；

所述根据获取的所述多模态交互信息，确定与所述多模态交互信息相匹配的交互方式，包括：

所述多模态交互信息包括：文字信息、语音信息、视觉信息、动作信息中任一项或多项；根据其多模态交互信息可以得到一个多模态交互信息矩阵，多模态交互信息矩阵为一个分块矩阵包括：文字信息矩阵、语音信息矩阵、视觉信息矩阵、动作信息矩阵中任一项或多项且各项矩阵均为方阵，若上述矩阵有一项不存在则用0矩阵代替，利用多模态交互信息矩阵通过如下计算与所述多模态交互信息相匹配的交互方式：

其中，X为多模态交互信息矩阵，W为文字信息矩阵，该所述文字信息矩阵为提取机器人屏幕上所输入信息，并对所输入信息进行像素点的提取，形成相应的像素矩阵，所述像素矩阵则为文字信息矩阵，Y为语音信息矩阵，该所述语音信息矩阵为每一帧语音中的语调、分贝、左声道值、右声道值所形成的矩阵、S为视觉信息矩阵，所述视觉信息矩阵，为机器人提取脸部信息，根据捕捉瞳仁的偏移方向，获取微表情，再根据微表情获取视觉的模糊程度，从而确定用户最终所观看的地方，并将地方信息的像素点形成矩阵，D为动作信息矩阵，该所述动作信息矩阵为机器人拍摄用户动作，并将用户动作图像的像素点输入计算机，形成相应像素矩阵，w_zz为文字信息矩阵中坐标为(z,z)的元素值，y_cc为语音信息矩阵中坐标为(c,c)的元素值，s_nn为视觉信息矩阵中坐标为(n,n)的元素值,d_mm为动作信息矩阵中坐标为(m,m)的元素值，且z、c、n、m、的值相等，即为矩阵W、Y、S、D的大小相等，利用如下方程组(1)求解特征值，

其中E为单位矩阵，λ₁，λ₂，λ₃，λ₄为与其对应矩阵的特征值，且特征值存在n种情况，即为λ₁、λ₂、λ₃、λ₄均为特征值的向量，每个向量中均含有n个值，而并非单一的值，所以将对应特征值构成特征矩阵，利用特征矩阵进行如下公式(2)计算，得出对应信息继续交互的概率矩阵：

其中p为每项信息继续交互的概率构成的概率矩阵，为特征矩阵，λ_1B，λ_2B，λ_3B，λ_4B为可维持其对应信息矩阵能继续交互的最大特征值，为预先设定的值，选取p矩阵中元素最大的一项，找到所述最大一项所对应的信息矩阵，该最大一项所对应的信息矩阵所对应的交互方式即为与所述多模态交互信息相匹配的交互方式。

2.如权利要求1所述的方法，其特征在于，

所述按照所述确定出的所述交互方式与所述用户进行交互，包括：

确定所述多模态交互信息所包含的交互内容；

按照所述确定出的所述交互方式执行与所述交互内容相应的反馈操作。

3.如权利要求1所述的方法，其特征在于，所述根据获取的所述多模态交互信息，确定与所述多模态交互信息相匹配的交互方式，按照所述确定出的所述交互方式与所述用户进行交互，包括：

交互模型中存储有多个交互方式，多个交互方式各自对应有自身的交互顺序；

按照所述多个交互方式各自对应的交互顺序与所述用户进行交互。

4.如权利要求1所述的方法，其特征在于，所述根据获取的所述多模态交互信息，确定与所述多模态交互信息相匹配的交互方式，包括：

获取所述多模态交互信息中的特征信息；

确定所述特征信息对应的交互方式；

将所述特征信息对应的交互方式确定为与所述多模态交互信息相匹配的交互方式。