[发明专利]一种人机交互方法、装置、车辆及存储介质

权利要求书

1.一种人机交互方法，其特征在于，包括：

解析所捕捉的语音指令，得到所述语音指令中指令意图对应的指令目标集合；

采集用户的多模态信息，所述多模态信息包括手势信息、肢体信息和面部信息中的至少一种；

根据所述多模态信息，确定所述指令目标集合中与所述多模态信息匹配的指令目标，并反馈给所述用户确认；

对所捕捉到的语音指令中的关键词进行语义解析，得到语音指令对应的指令意图，若语音指令中包含指令目标，解析后得到对应的指令目标，若语音指令中不包含指令目标，根据指令意图初步确定候选的指令目标，包括根据指令意图初步确定指令目标位于车内还是车外；

根据所述指令意图，确定对应的指令目标集合，所述指令目标集合中包含至少一个符合所述指令意图的指令目标；

所述指令目标集合包含车内目标集合和车外目标集合，其中，车内目标集合基于结合用户的触摸或硬按键信息确定；车外目标集合基于前视摄像头、高精地图以及V2X模块确定。

2.根据权利要求1所述的方法，其特征在于，所述根据所述多模态信息，确定所述指令目标集中与所述多模态信息匹配的指令目标，包括：

识别所述手势信息对应的手势动作、肢体信息对应的肢体动作以及面部信息中眼球的视线和面部表情；

根据所述手势动作、肢体动作、眼球的视线和/或面部表情，确定所述指令目标集合中与所述多模态信息匹配的指令目标。

3.根据权利要求1-2任一项所述的方法，其特征在于，在解析所捕捉的语音指令之前，还包括：

捕获唤醒信号，唤醒与用户交互的交互对象。

4.根据权利要求3所述的方法，其特征在于，在反馈给所述用户确认之后，还包括：

接收所述用户对所述指令目标的确认信息；

响应所述指令目标。

5.一种人机交互装置，其特征在于，包括：

解析模块，用于解析所捕捉的语音指令，得到所述语音指令中指令意图对应的指令目标集合；

信息采集模块，用于采集用户的多模态信息，所述多模态信息包括手势信息、肢体信息和面部信息中的至少一种；

目标确定模块，用于根据所述多模态信息，确定所述指令目标集合中与所述多模态信息匹配的指令目标，并反馈给所述用户确认；

对所捕捉到的语音指令中的关键词进行语义解析，得到语音指令对应的指令意图，若语音指令中包含指令目标，解析后得到对应的指令目标，若语音指令中不包含指令目标，根据指令意图初步确定候选的指令目标，包括根据指令意图初步确定指令目标位于车内还是车外；

根据所述指令意图，确定对应的指令目标集合，所述指令目标集合中包含至少一个符合所述指令意图的指令目标；

所述指令目标集合包含车内目标集合和车外目标集合，其中，车内目标集合基于结合用户的触摸或硬按键信息确定；车外目标集合基于前视摄像头、高精地图以及V2X模块确定。

6.根据权利要求5所述的装置，其特征在于，所述解析模块，具体用于：

捕捉用户的语音指令；

对所述语音指令中的关键词进行语义解析，得到所述语音指令对应的指令意图；

根据所述指令意图，确定对应的指令目标集合，所述指令目标集合中包含至少一个符合所述指令意图的指令目标。

7.根据权利要求5所述的装置，其特征在于，所述目标确定模块，具体用于：

识别所述手势信息对应的手势动作、肢体信息对应的肢体动作以及面部信息中眼球的视线和面部表情；

根据所述手势动作、肢体动作、眼球的视线和/或面部表情，确定所述指令目标集合中与所述多模态信息匹配的指令目标。

8.一种车辆，其特征在于，包括：

车机系统，用于与用户交互；

通信终端，用于与其他终端通信；

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4中任一项所述的人机交互方法。

9.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一项所述的人机交互方法。