[发明专利]基于车辆的对乘员音频和可视输入的确定

权利要求书

1.一种计算机实现的方法，包括：

接收音频数据，其中，所述音频数据包括来自车辆的一个或多个乘员的口语输入；

至少部分地基于所接收的音频数据来执行话语识别，以识别正在说什么；

接收可视数据，其中，所述可视数据包括所述车辆的所述一个或多个乘员的视频；

至少部分地基于：至少部分地基于所接收的可视数据来对所述车辆的所述一个或多个乘员中的哪个与所接收的音频数据相关联的确定，以及在没有基于音频的发言者验证的情况下，通过至少部分地基于所接收的可视数据来对所述车辆的所述一个或多个乘员的唇部跟踪，来确定谁正在发言；

至少部分地基于在没有基于音频的发言者验证的情况下对谁正在发言的基于可视数据的确定，来选择特定的发言者模型；

至少部分地基于：对作为对所执行的话语识别操作的修改的适合于选定的特定的发言者模型的语音识别的执行，来确定正在说什么，其中，所执行的语音识别是至少部分地基于所执行的话语识别和对所述车辆中的所述一个或多个乘员中的哪一个与所接收的音频数据相关联的确定的；以及

至少部分地基于所执行的语音识别来执行与所述车辆的操作相关联的用户命令。

2.根据权利要求1所述的方法，其中，确定所述车辆的所述一个或多个乘员中的哪个与所接收的音频数据相关联还包括：

至少部分地基于所接收的可视数据，来执行对所述车辆的所述一个或多个乘员的面部检测，其中，所述面部检测被配置为在所述车辆的所述一个或多个乘员之间进行区分。

3.根据权利要求1所述的方法，其中，确定所述车辆的所述一个或多个乘员中的哪个与所接收的音频数据相关联还包括：

至少部分地基于所接收的可视数据，来执行对所述车辆的所述一个或多个乘员的面部检测，其中，所述面部检测被配置为在所述车辆的所述一个或多个乘员之间进行区分；以及

至少部分地基于所述面部检测，来将所述车辆的所述一个或多个乘员与个体简档关联起来。

4.根据权利要求1所述的方法，其中，确定所述车辆的所述一个或多个乘员中的哪个与所接收的音频数据相关联还包括：

至少部分地基于所接收的可视数据，来将所述车辆的所述一个或多个乘员与个体简档关联起来；

至少部分地基于所述唇部跟踪，来确定所述车辆的所述一个或多个乘员中是否有任何乘员正在发言；以及

至少部分地基于对所述车辆的所述一个或多个乘员中是否有任何乘员正在发言的确定，来降低车辆音频输出的音量。

5.根据权利要求1所述的方法，其中，确定所述车辆的所述一个或多个乘员中的哪个与所接收的音频数据相关联还包括：

至少部分地基于所接收的可视数据，来执行对所述车辆的所述一个或多个乘员的面部检测，其中，所述面部检测被配置为在所述车辆的所述一个或多个乘员之间进行区分；以及

至少部分地基于所述面部检测，来将所述车辆的所述一个或多个乘员与个体简档关联起来。

6.一种计算机实现的装置，包括：

用于接收音频数据的单元，其中，所述音频数据包括来自车辆的一个或多个乘员的口语输入；

用于至少部分地基于所接收的音频数据来执行话语识别，以识别正在说什么的单元；

用于接收可视数据的单元，其中，所述可视数据包括所述车辆的所述一个或多个乘员的视频；用于至少部分地基于所接收的可视数据，来确定所述车辆的所述一个或多个乘员中的哪个与所接收的音频数据相关联的单元；

用于至少部分地基于：至少部分地基于所接收的可视数据来对所述车辆的所述一个或多个乘员中的哪个与所接收的音频数据相关联的确定，以及在没有基于音频的发言者验证的情况下，通过至少部分地基于所接收的可视数据来对所述车辆的所述一个或多个乘员的唇部跟踪，来确定谁正在发言的单元；

用于至少部分地基于在没有基于音频的发言者验证的情况下对谁正在发言的基于可视数据的确定，来选择特定的发言者模型的单元；

用于至少部分地基于：对作为对所执行的话语识别操作的修改的适合于选定的特定的发言者模型的语音识别的执行，来确定正在说什么的单元，其中，所执行的语音识别是至少部分地基于所执行的话语识别和对所述车辆中的所述一个或多个乘员中的哪一个与所接收的音频数据相关联的确定的；以及

用于至少部分地基于所执行的语音识别来执行与所述车辆的操作相关联的用户命令的单元。