[发明专利]一种智能机器人的多模态融合自然交互方法、系统及介质

权利要求书

1.一种用于机器人的多模态融合自然交互方法，其特征在于，包括：

S1，获取目标交互对象的音频数据、视觉数据以及距离数据；

S2，根据从目标交互对象的音频数据、视觉数据以及距离数据中获得的多种模态的交互特征进行多模态融合意图理解，包括说话人识别以确定目标交互对象的用户ID、语言指向识别以确定目标交互对象说话指向本机器人的概率、用户指示动作识别以确定目标交互对象的动作指示目标，和情感化意图识别以确定目标交互对象的情感状态；

S3，基于多模态融合意图理解的结果确定目标交互对象的交互意愿，并执行对目标交互对象执行交互管理，包括用户状态管理、交互状态跟踪以及情感化交互决策；

S4，基于情感化交互决策的结果生成面向目标交互对象的交互反馈结果，并针对交互反馈结果执行交互反馈结果生成并输出，所述交互反馈结果包括语言文本、语音、动作、表情中的部分或全部；

步骤S2中说话人识别所采用的多种模态的交互特征包括：基于目标交互对象的音频数据提取得到的声纹特征F_w，基于目标交互对象的视觉数据提取得到的人脸特征F_i；所述说话人识别包括：

S201，将目标交互对象的声纹特征F_w与已登记用户库的声纹特征集合F_p={F_p^m|m=,1,2,3,...,n}计算声纹相似性，其中F_p^m表示已登记用户库中任意第m个已登记用户的声纹特征，n为已登记用户库中包含的已登记用户数量；将目标交互对象的人脸特征F_i与已登记用户库的人脸特征集合F_s={F_s^m|m=,1,2,3,...,n}计算人脸相似性，其中F_s^m表示已登记用户库中任意第m个已登记用户的人脸特征；其中，计算声纹相似性为利用声纹特征之间的点乘注意力计算声纹相似性，且利用声纹特征之间的点乘注意力计算声纹相似性的函数表达式为：

，

上式中，S_p={S_p^m|m=,1,2,3,...,n}表示目标交互对象的声纹特征F_w与已登记用户库的声纹特征集合F_p={F_p^m|m=,1,2,3,...,n}的声纹相似性集合，softmax表示归一化指数函数，d_k1为矩阵Fw(F_p)^⊤的维度；其中，计算人脸相似性为利用人脸特征之间的点乘注意力计算人脸相似性，且利用人脸特征之间的点乘注意力计算人脸相似性的函数表达式为：

，

上式中，S_c={S_c^m|m=,1,2,3,...,n}表示目标交互对象的人脸特征F_i与已登记用户库的人脸特征集合F_s={F_s^m|m=,1,2,3,...,n}的人脸相似性集合，softmax表示归一化指数函数，d_k2为矩阵Fi(F_s)^⊤的维度；

S202，在声纹相似性集合S_p中选择c个最佳的声纹相似性并进行排序得到最佳声纹相似性集合S_pc={S_p^m|m=,1,2,3,..., c}，在人脸相似性集合S_c中选择c个最佳的人脸相似性并进行排序得到最佳人脸相似性集合S_cc={S_c^m|m=,1,2,3,..., c}；

S203，针对最佳声纹相似性集合S_pc对应的用户集合、最佳人脸相似性集合S_cc对应的用户集合进行交集运算得到共有用户集合，若共有用户集合非空，判定该交互对象为已登记用户，并将共有用户集合按照声纹相似性、人脸相似性的加权求和计算得分，将得分最高的用户作为该交互对象对应的已登记用户，并记录目标交互对象的用户ID；若共有用户集合为空，则将目标交互对象的声纹特征Fw、人脸特征Fi登记到已登记用户库，并记录为该交互对象登记的用户ID。