[发明专利]基于车辆的对乘员音频和可视输入的确定

摘要

描述了包括用于接收来自车辆的一个或多个乘员的音频数据和可视数据的操作的系统、装置、制品和方法。可以至少部分地基于所接收的可视数据来做出关于车辆的一个或多个乘员中的哪个与所接收的音频数据相关联的确定。

主权项

一种计算机实现的方法，包括：接收音频数据，其中，所述音频数据包括来自车辆的一个或多个乘员的口语输入；至少部分地基于所接收的音频数据来执行话语识别，以识别正在说什么；接收可视数据，其中，所述可视数据包括所述车辆的所述一个或多个乘员的视频；至少部分地基于：至少部分地基于所接收的可视数据来对所述车辆的所述一个或多个乘员中的哪个与所接收的音频数据相关联的确定，以及在没有基于音频的发言者验证的情况下，通过至少部分地基于所接收的可视数据来对所述车辆的所述一个或多个乘员的唇部跟踪，来确定谁正在发言；至少部分地基于在没有基于音频的发言者验证的情况下对谁正在发言的基于可视数据的确定，来选择特定的发言者模型；至少部分地基于：对作为对所执行的话语识别操作的修改的适合于选定的特定的发言者模型的语音识别的执行，来确定正在说什么，其中，所执行的语音识别是至少部分地基于所执行的话语识别和对所述车辆中的所述一个或多个乘员中的哪一个与所接收的音频数据相关联的确定的；以及至少部分地基于所执行的语音识别来执行与所述车辆的操作相关联的用户命令。