[发明专利]一种车辆的人机交互方法、车辆及存储介质

说明书

本申请涉及车辆智能控制技术领域，尤其涉及一种车辆的人机交互方法、车辆及存储介质，该方法包括：响应于智能模式的启动，获取车辆目标用户的情绪认知数据；获取车辆的驾驶状态数据和/或环境数据；根据所述情绪认知数据，结合车辆的驾驶状态数据和/或行驶环境数据匹配多模态人机交互指令；输出多模态人机交互指令给所述用户确定。本申请将用户情绪、车辆驾驶状态和环境数据相结合，匹配合适的多模态人机交互指令，从而提升用户的驾驶体验。

技术领域

本申请涉及车辆智能控制技术领域，尤其涉及一种车辆的人机交互方法、车辆及存储介质。

背景技术

随着汽车工业的发展，很多车辆提供了车辆内的人机交互功能。

目前，车辆内的人机交互主要是通过车机语音交互系统实现的语音交互，具体的：车机语音交互系统在收到用户语音后，识别该用户语音得到对应的文本信息；然后，根据该文本信息确定出用户意图；进一步的，针对用户意图，确定出该用户语音对应的回复文本；最后，将回复文本转换为语音，作为语音交互结果返回给用户。

然而，这种语音交互的方式缺乏对用户情绪的感知，不够人性化，难以满足用户更高交互需求的问题，因此目前亟需一种方法解决上述问题。

发明内容

针对目前车辆的人机交互方式不够人性化，难以满足用户更高的交互需求的问题，本申请提出了一种车辆的人机交互方法、车辆及存储介质。

本申请的第一方面实施例提供了一种车辆的人机交互方法，包括：

响应于智能模式的启动，获取车辆内目标用户的情绪认知数据；

获取车辆的驾驶状态数据和/或环境数据；

根据情绪认知数据，结合车辆的驾驶状态数据和/或行驶环境数据匹配多模态人机交互指令，其中，其中，所述多模态人机交互指令用于控制所述车辆的至少一个视觉交互设备、至少一个听觉交互设备和/至少一个嗅觉交互设备执行相应的交互动作；

输出多模态人机交互指令给用户确定。

通过采用上述技术方案，在获取车内目标用户的情绪认知数据后，结合车辆的驾驶状态数据和/或环境数据进行多模态人机交互指令的匹配，进而将用户情绪、车辆驾驶状态和环境数据相结合，匹配合适的多模态人机交互指令，更加人性化，可以满足用户更高的交互需求的问题，从而提升用户的驾驶体验。

可选的，响应于智能模式的启动，获取车辆内目标用户的情绪认知数据包括：

捕捉智能模式的唤醒信号，进行车内目标用户的确认；

获取目标用户的人脸图像；

将人脸图像输入情绪识别模型，得到目标用户的情绪认知数据。

通过采用上述技术方案，在获取用户的人脸图像后，基于情绪识别模型得到目标用户的情绪认知数据，从而实现用户情绪的精准识别，提高了情绪识别效率。

可选的，情绪识别模型通过如下方式进行训练：

生成第一训练样本集，第一训练样本集包括预设数量的用户人脸训练图像以及与用户人脸训练图像匹配的第一情绪认知结果；

将第一训练样本集合中的用户人脸训练图像输入至预设模型，输出与所述用户人脸训练图像对应的第二情绪认知结果；

当输出的所述第二情绪认知结果与所述第一情绪认知结果的匹配度满足预设阈值时，完成情绪识别模型的训练。

通过采用上述技术方案，以与用户人脸训练图像匹配的第一情绪认知结果作为训练基础，训练得到与用户人脸训练图像对应的第二情绪认知结果，并根据第一情绪认知结果判断第二情绪认知结果的真假，进而将判断结果输出至深度学习模型中，使得学习模型后续生成的第二情绪认知结果能够更接近第一情绪认知结果，当输出的第二情绪结果与第一情绪认知结果的统一率满足预设阈值时，从而完成情绪识别模型的训练。

可选的，获取车辆的驾驶状态数据，包括：