[发明专利]一种多模态融合交互系统、方法、智能机器人及存储介质

权利要求书

1.一种多模态融合交互系统，其特征在于，包括：

信息获取模块，用于获取多个信息感知设备采集的目标人体的多模态信息；

融合分析模块，用于对获取的多个多模态信息进行融合，以获得所述目标人体的融合需求；

需求发送模块，用于将所述融合需求发送至云端服务器，以使得所述云端服务器对所述融合需求进行解析，生成并返回对应的答案；

交互模块，用于将所述答案通过预定的方式进行反馈。

2.根据权利要求1所述的多模态融合交互系统，其特征在于，所述信息感知设备至少包括以下其中之一：摄像头、拾音器、距离检测器、红外感应器；则对应的目标人体的多模态信息包括：目标人体的图像、目标人体发出的语音、与目标人体的距离、目标人体的红外信息。

3.根据权利要求1所述的多模态融合交互系统，其特征在于，所述融合分析模块具体包括：

特征提取单元，用于对获取的目标人体的多个多模态信息进行特征提取，以获取包含在多个多模态信息中的需求信息以及所述目标人体的人体特征；

融合单元，用于根据所述目标人体的人体特征以及所述需求信息进行融合，生成融合需求。

4.根据权利要求3所述的多模态融合交互系统，其特征在于，所述人体特征包括以下其中之一：目标人体的年龄、性别、当前情绪。

5.根据权利要求3所述的多模态融合交互系统，其特征在于，所述交互模块具体用于：

对所述答案进行遍历，以获取所述答案中包括的特定关键词；

获取与所述关键词对应的多种反馈方式；

根据所述目标人体的人体特征选取对应的反馈方式；

根据与所述特定关键词对应的反馈方式对所述答案或所述答案的包含所述特定关键词的部分进行展示。

6.根据权利要求3所述的多模态融合交互系统，其特征在于，还包括：

关系判断模块，用于当判断所述目标人体预定范围内还存在其他人体时，判断目标人体与其他人体之间的关系；

则所述融合分析模块，还用于：

对获取的多个多模态信息以及所述关系进行融合，以获得所述目标人体的融合需求。

7.根据权利要求书5所述的多模态融合交互系统，其特征在于，对所述答案的反馈方式中至少包括以下其中之一或其结合：以动作的方式进行反馈、以语音播放的方式进行反馈、以视频或画面播放的方式进行反馈。

8.一种多模态融合交互方法，其特征在于，包括：

获取多个信息感知设备采集的目标人体的多模态信息；

对获取的多个多模态信息进行融合，以获得所述目标人体的融合需求；

将所述融合需求发送至云端服务器，以使得所述云端服务器对所述融合需求进行解析，生成并返回对应的答案；

将所述答案通过预定的方式进行反馈。

9.一种智能机器人，其特征在于，包括至少一个信息感知设备、显示屏、语音播放设备、通信设备、处理器以及存储器；所述至少一个信息感知设备、显示屏、语音播放设备、通信设备、存储器均与所述处理器连接；所述存储器内存储有可执行代码，所述可执行代码能够被所述处理器执行以实现如权利要求8所述的多模态融合交互方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求8所述的多模态融合交互方法。