[发明专利]智能座舱的多模态交互方法、系统及具有其的智能座舱

权利要求书

1.一种智能座舱的多模态交互方法，包括：

获取所述智能座舱的座舱状态信息；

将所述座舱状态信息映射为对应的识别文本；

根据所述识别文本，获取对应的话术文本、话术语音、虚拟生命形象的面部数据和动作数据；

根据所述话术语音、所述虚拟生命形象的面部数据和动作数据，生成目标虚拟生命形象的渲染画面，并在第一显示设备上播放所述目标虚拟生命形象的渲染画面，在第二显示设备上显示所述话术文本；

所述方法，还包括：

根据所述识别文本，获取对应的座舱状态语义信息；

根据所述座舱状态语义信息生成对应的车控指令；

将所述车控指令发送给车机系统；所述车控指令用于指示所述车机系统对所述智能座舱进行相应控制。

2.根据权利要求1所述的方法，其中，所述根据所述识别文本，获取对应的话术文本、话术语音、虚拟生命形象的面部数据和动作数据，包括：

将所述识别文本发送给云端服务器；

从所述云端服务器获取与所述识别文本对应的话术文本、话术语音、虚拟生命形象的面部数据和动作数据。

3.根据权利要求1所述的方法，还包括：

在第一显示设备上播放所述目标虚拟生命形象的渲染画面时，将所述智能座舱设置为全双工语音交互状态；

获取所述智能座舱上麦克风采集到的第一语音信息；

对所述第一语音信息进行语音识别，获得对应的第一文本信息；

从云端服务器获取与所述第一文本信息对应的第一语义信息、第一话术语音、虚拟生命形象的第一面部数据和第一动作数据；

根据所述第一话术语音、所述虚拟生命形象的第一面部数据和第一动作数据，生成目标虚拟生命形象的第一渲染画面，并在第一显示设备上播放所述目标虚拟生命形象的第一渲染画面；

根据所述第一文本信息和所述第一语义信息生成对应的第一车控指令；

将所述第一车控指令发送给车机系统；所述第一车控指令用于指示所述车机系统执行相应操作。

4.根据权利要求1所述的方法，还包括：

获取所述智能座舱上麦克风采集到的第二语音信息，并对所述第二语音信息进行语音识别，获得对应的第二文本信息；

响应于所述第二文本信息中包含预设唤醒词，将所述智能座舱设置为全双工语音交互状态，并触发所述智能座舱的多模态交互流程。

5.一种智能座舱的多模态交互系统，包括：主控芯片、从芯片和局域网通信模块，其中，

所述局域网通信模块，用于负责所述主控芯片、所述从芯片与所述智能座舱上车机系统之间的通信；

所述主控芯片，用于接收所述从芯片透传的所述智能座舱的座舱状态信息，并将所述座舱状态信息映射为对应的识别文本，根据所述识别文本获取对应的话术文本、话术语音、虚拟生命形象的面部数据和动作数据；

所述主控芯片，还用于根据所述话术语音、所述虚拟生命形象的面部数据和动作数据，生成目标虚拟生命形象的渲染画面，并控制第一显示设备播放所述目标虚拟生命形象的渲染画面，将所述话术文本发送给所述从芯片；

所述从芯片，用于接收所述主控芯片发送的所述话术文本，并控制第二显示设备显示所述话术文本；

所述主控芯片，还用于根据所述识别文本，获取对应的座舱状态语义信息；根据所述座舱状态语义信息生成对应的车控指令，并将所述车控指令经所述从芯片透传给所述车机系统；所述车控指令用于指示所述车机系统对所述智能座舱进行相应控制。