[发明专利]智能座舱的多模态交互方法、系统及具有其的智能座舱

说明书

本申请公开了一种智能座舱的多模态交互方法、系统及具有其的智能座舱，涉及数据处理领域，具体涉及语音技术领域。具体实现方案为：获取智能座舱的座舱状态信息；将座舱状态信息映射为对应的识别文本；根据识别文本，获取对应的话术文本、话术语音、虚拟生命形象的面部数据和动作数据；根据话术语音、虚拟生命形象的面部数据和动作数据，生成目标虚拟生命形象的渲染画面，并在第一显示设备上播放目标虚拟生命形象的渲染画面，在第二显示设备上显示话术文本。本申请可通过目标虚拟生命形象的表情、动作、语音、文字实现人机之间多模态交互方法，使得智能座舱内的人机交互过程更加接近人人交互。

技术领域

本申请涉及数据处理领域，具体涉及语音技术领域，尤其涉及一种智能座舱的多模态交互方法、系统及具有其的智能座舱。

背景技术

随着互联网、人工智能硬件及软件技术的迅猛发展，智能网联汽车作为一个全新的汽车体系出现在大众视线。现有的车载语音交互方式，大多使用简单的车载语音识别系统，交互过程较为生硬呆板，指令系统单一。

发明内容

本申请提供了一种智能座舱的多模态交互方法、系统及具有其的智能座舱。

根据本申请的第一方面，提供了一种智能座舱的多模态交互方法，包括：

获取所述智能座舱的座舱状态信息；

将所述座舱状态信息映射为对应的识别文本；

根据所述识别文本，获取对应的话术文本、话术语音、虚拟生命形象的面部数据和动作数据；

根据所述话术语音、所述虚拟生命形象的面部数据和动作数据，生成目标虚拟生命形象的渲染画面，并在第一显示设备上播放所述目标虚拟生命形象的渲染画面，在第二显示设备上显示所述话术文本。

根据本申请的第二方面，提供了一种智能座舱的多模态交互系统，包括：主控芯片、从芯片和局域网通信模块，其中，

所述局域网通信模块，用于负责所述主控芯片、所述从芯片与所述智能座舱上车机系统之间的通信；

所述主控芯片，用于接收所述从芯片透传的所述智能座舱的座舱状态信息，并将所述座舱状态信息映射为对应的识别文本，根据所述识别文本获取对应的话术文本、话术语音、虚拟生命形象的面部数据和动作数据；

所述主控芯片，还用于根据所述话术语音、所述虚拟生命形象的面部数据和动作数据，生成目标虚拟生命形象的渲染画面，并控制第一显示设备播放所述目标虚拟生命形象的渲染画面，将所述话术文本发送给所述从芯片；

所述从芯片，用于接收所述主控芯片发送的所述话术文本，并控制第二显示设备显示所述话术文本。

根据本申请的第三方面，提供了一种智能座舱的多模态交互装置，包括：

第一获取模块，用于获取所述智能座舱的座舱状态信息；

映射模块，用于将所述座舱状态信息映射为对应的识别文本；

第二获取模块，用于根据所述识别文本，获取对应的话术文本、话术语音、虚拟生命形象的面部数据和动作数据；

控制模块，用于根据所述话术语音、所述虚拟生命形象的面部数据和动作数据，生成目标虚拟生命形象的渲染画面，并在第一显示设备上播放所述目标虚拟生命形象的渲染画面，在第二显示设备上显示所述话术文本。

根据本申请的第四方面，提供了一种智能座舱，包括：前述第二方面所述的多模态交互系统。

根据本申请的第五方面，提供了一种智能座舱，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，