[发明专利]多模态融合人机交互方法、装置、存储介质、终端及系统

说明书

本发明实施例公开了多模态融合人机交互方法、装置、存储介质、终端及系统。该方法包括：获取机器人采集的目标交互对象对应的交互数据，其中，交互数据包括音频数据、微表情数据、距离数据以及姿势数据；根据交互数据基于预设规则确定所述机器人的交互反馈数据，其中，交互反馈数据包括包含语气信息的语音反馈数据、微表情反馈数据以及动作反馈数据；利用交互反馈数据控制机器人执行相应的交互反馈操作。本发明实施例通过采用上述技术方案，可以使机器人的反馈更加合理和人性化，丰富反馈形式，有助于提升人机交互的体验。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及多模态融合人机交互方法、装置、存储介质、终端及系统。

背景技术

机器人是自动执行工作的机器装置，它既可以接受人类指挥，又可以运行预先编排的程序，也可以根据以人工智能技术制定的原则纲领行动，它的任务是协助或取代人类的工作，可应用于如生产业、建筑业或其他危险行业。

目前，服务机器人等需要进行人机交互的交互机器人作为一个崭新的产业正在崛起，与此同时，服务机器人市场与需求也在快速增长，根据国际机器人联合会的最新市场预测，到2020年，全球服务机器人的市场总的规模将达到约600亿美元。在个人服务、公共服务、康复辅助以及助老助残等领域，各种不同种类的机器人也在飞速应用发展，成为方便大众生活、缓解劳动力成本上涨以及提升服务质量的有力助手。

然而，目前的交互机器人在与人类进行交互时，反馈形式单调，交互生硬，需要改进。

发明内容

本发明实施例提供了多模态融合人机交互方法、装置、存储介质、终端及系统，可以优化现有的基于交互机器人的人机交互方案。

第一方面，本发明实施例提供了一种多模态融合人机交互方法，包括：

获取机器人采集的目标交互对象对应的交互数据，其中，所述交互数据包括音频数据、微表情数据、距离数据以及姿势数据；

根据所述交互数据基于预设规则确定所述机器人的交互反馈数据，其中，所述交互反馈数据包括包含语气信息的语音反馈数据、微表情反馈数据以及动作反馈数据；

利用所述交互反馈数据控制所述机器人执行相应的交互反馈操作。

第二方面，本发明实施例提供了一种多模态融合人机交互装置，包括：

交互数据获取模块，用于获取机器人采集的目标交互对象对应的交互数据，其中，所述交互数据包括音频数据、微表情数据、距离数据以及姿势数据；

交互反馈数据确定模块，用于根据所述交互数据基于预设规则确定所述机器人的交互反馈数据，其中，所述交互反馈数据包括包含语气信息的语音反馈数据、微表情反馈数据以及动作反馈数据；

反馈控制模块，用于利用所述交互反馈数据控制所述机器人执行相应的交互反馈操作。

第三方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例提供的多模态融合人机交互方法。

第四方面，本发明实施例提供了一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例提供的多模态融合人机交互方法。

第五方面，本发明实施例提供了一种多模态融合人机交互系统，包括机器人和后台终端；

所述机器人，用于采集目标交互对象对应的交互数据，并将所述交互数据发送至所述后台终端，在所述后台终端的控制下执行交互反馈操作，其中，所述交互数据包括音频数据、微表情数据、距离数据以及姿势数据；