[发明专利]一种基于多模融合的智能交互方法及装置

说明书

本发明实施例涉及人机交互领域，公开了一种基于多模融合的智能交互方法及装置，所述方法通过获取多模态信息，并根据多模态信息生成交互数据，并将交互数据进行输出。其中多模态信息包括车辆状态信息、车辆位置信息、用户信息以及环境信息中的一种或多种的组合。所述方法通过对车辆本身和用户进行全方位的数据采集，进而生成交互数据，使交互装置能够与用户进行主动交互，解决了车载人机交互系统无法对多维度用户及车辆信息进行有效融合的问题，使车载人机交互系统能够主动为用户提供符合当前需求的交互服务。

技术领域

本发明实施例涉及人机交互领域，特别涉及一种基于多模融合的智能交互方法及装置。

背景技术

人机交互是指人与机器或计算机系统通过某种对话语言，以一定的交互方式进行的信息交换过程。而汽车作为一种交通工具，其内也设置了人机交互系统以方便用户对汽车进行操控。因用户出行需求的变化，用车场景愈发复杂，且随智能化、网联化的发展，车载人机交互系统也开始逐渐智能化。

为实现车载人机交互系统的智能化，大屏显示、多屏互动、语音交互、车内摄像头、智能空调、智能音响、座椅按摩等一系列功能设备被配置在汽车当中，使车辆能够更加精准地接收用户指令，以满足用户的需求。

但车载人机交互系统的智能化仅增加了输入指令的方式，在原有的旋钮、按钮控制等方式的基础上，增加了触屏控制、语音控制、动作控制等方式，在进行交互时均需要用户主动进行操作。因此车载人机交互系统仍存在只能被动交互的问题，即交互系统仅会执行用户输入的指令，使车辆不能主动提供符合用户当前需求的交互服务。

发明内容

本申请提供了一种基于多模融合的智能交互方法及系统，以解决车载人机交互系统无法主动提供符合用户当前需求的交互服务的问题。

第一方面，本申请提供了一种基于多模融合的智能交互方法，包括：获取多模态信息，所述多模态信息包括车辆状态信息、车辆位置信息、用户信息或环境信息中的至少一种；根据所述多模态信息，生成交互数据，所述交互数据包括车辆控制指令和/或交互提示信息；输出所述交互数据。

可选的，当所述多模态信息包括所述用户信息时，所述用户信息包括用户特征数据，以及用户语音数据和用户图像数据中的至少一种，所述根据所述多模态信息，生成交互数据，包括：通过所述用户图像数据和/或所述用户语音数据获取车辆内用户数量；根据所述用户数量和所述用户特征数据，生成乘车用户类型组合；根据所述乘车用户类型组合，生成交互提示信息，所述交互提示信息包括推荐目的地。

可选的，所述根据所述多模态信息，生成交互数据，包括：根据所述用户信息和/或所述环境信息，确定所述驾驶人员的疲劳程度和/或所述用户的情绪状态；根据所述驾驶人员的疲劳程度和所述车辆的位置信息，生成缓解所述驾驶人员疲劳程度的车辆控制指令和/或交互提示信息；所述车辆控制指令包括空调控制指令和座椅按摩指令，所述交互提示信息包括疲劳提醒和推荐休息地；和/或，根据所述用户的情绪状态，生成缓解所述用户情绪状态的交互提示信息。

可选的，当所述多模态信息包括所述环境信息、所述用户信息和所述车辆位置信息时，所述环境信息包括车内温度，所述用户信息包括用户特征数据，所述根据所述多模态信息，生成交互数据，包括：根据所述用户图像数据和所述用户特征数据，确定特殊用户，以及所述特殊用户的乘坐位置；所述特殊用户包括大龄用户和幼龄用户；根据所述特殊用户的乘坐位置、所述车辆位置信息以及所述车内温度，生成车辆控制指令和交互提示信息，所述车辆控制指令用于控制所述车辆内所述特殊用户的乘坐位置的空调温度高于阈值温度且风量低于阈值风量，所述交互提示信息用于提示用户所述车辆的空调调节模式。