[发明专利]一种智能机器人的多模态融合自然交互方法、系统及介质

说明书

本发明公开了一种智能机器人的多模态融合自然交互方法、系统及介质，本发明方法包括根据音频数据、视觉数据及距离数据等多种模态交互特征进行多模态融合意图理解以确定目标交互对象的交互意愿，并执行对目标交互对象执行交互管理，包括用户状态管理、交互状态跟踪以及情感化交互决策；基于情感化交互决策的结果生成面向目标交互对象的交互反馈结果，并针对交互反馈结果执行交互反馈结果生成并输出。本发明能够结合多种模态的用户交互特征提升意图理解、交互决策和反馈生成等环节的交互准确度，能根据个人情况和即时状态做出因人而异的类人情感化个性化交互反馈，提升机器人自然交互的用户体验。

技术领域

本发明涉及人工智能和人机交互技术，具体涉及一种智能机器人的多模态融合自然交互方法、系统及介质。

背景技术

机器人被誉为“制造业皇冠顶端的明珠”，是衡量一个国家科技创新和高端制造业水平的重要标志，世界各国均将发展智能机器人产业上升到国家战略层面。其中服务机器人直接参与人们的日常生活，通过与人类交互获取任务进而实现服务功能，因此，人机自然交互技术是服务机器人的核心技术之一。机器人自然交互的最终目标是实现类似人与人交流的人机自然交互，让机器人理解和学习人的交流方式，从而最大程度减少用户学习和习惯培养成本，提升用户体验和服务机器人的工作效率。近年来随着语音技术取得重要的突破，以智能语音和自然语言处理技术为核心的人机对话技术广泛应用于各类服务机器人。然而在实际人与人之间交流中的感知、决策和表达均呈现出多模态的特点。人类具有视觉、听觉、触觉、嗅觉、味觉等多种模态感知能力，综合分析对方的语音、动作、表情才能理解其真实意图进而指定交互策略，并通过语言、动作、表情等不同方式进行反馈。目前服务机器人的交互系统以语音交互为主，反应用户面部表情、手体势动作的视频和深度等数据人机交互中的作用极为有限，一般仅用于人脸识别、唤醒和手势控制等辅助功能，语音和视觉信息的协同处理效率低，无法有效利用各个模态信息之间互补性。在实际的应用场景中易出现意图理解不准确、反馈表达僵硬平淡等问题，严重影响用户体验，限制了服务机器人产业的进一步发展。

发明内容

本发明要解决的技术问题：针对现有技术的上述问题，提供一种智能机器人的多模态融合自然交互方法、系统及介质，本发明旨在基于机器人获取的语音、视频和距离等多种模态的数据，在意图理解、交互决策和反馈生成等环节融合其中包含语言、情感和动作的识别结果，做出因人而异的类人情感化个性化交互反馈，以提升机器人自然交互的用户体验。

为了解决上述技术问题，本发明采用的技术方案为：

一种用于机器人的多模态融合自然交互方法，包括：

S1，获取目标交互对象的音频数据、视觉数据以及距离数据；

S2，根据从目标交互对象的音频数据、视觉数据以及距离数据中获得的多种模态的交互特征进行多模态融合意图理解，包括说话人识别以确定目标交互对象的用户ID、语言指向识别以确定目标交互对象说话指向本机器人的概率、用户指示动作识别以确定目标交互对象的动作指示目标，以及情感化意图识别以确定目标交互对象的情感状态；

S3，基于多模态融合意图理解的结果确定目标交互对象的交互意愿，并执行对目标交互对象执行交互管理，包括用户状态管理、交互状态跟踪以及情感化交互决策；

S4，基于情感化交互决策的结果生成面向目标交互对象的交互反馈结果，并针对交互反馈结果执行交互反馈结果生成并输出，所述交互反馈结果包括语言文本、语音、动作、表情中的部分或全部。

可选地，步骤S2中说话人识别所采用的多种模态的交互特征包括：基于目标交互对象的音频数据提取得到的声纹特征F_w，基于目标交互对象的视觉数据提取得到的人脸特征F_i；所述说话人识别包括：