[发明专利]基于唇部检测的查询端点化

权利要求书

1.一种计算机实现的方法，包括：

接收视频数据和与所述视频数据同步的音频数据；

确定所述视频数据的视频帧的序列包括具有移动唇部的脸部的表示；

将包括具有移动唇部的脸部的表示的所述视频帧的序列作为输入提供给被训练以确定唇部移动是与语音相关联还是与除语音之外的动作相关联的模型；

基于将包括具有移动唇部的脸部的表示的所述视频帧的序列作为输入提供给被训练以确定唇部移动是与语音相关联还是与除语音之外的动作相关联的模型，从所述模型接收确定以下内容的指示：(i)包括具有移动唇部的脸部的表示的所述视频帧的序列的第一部分与语音相关联，以及(ii)包括具有移动唇部的脸部的表示的所述视频帧的序列的第二部分与除语音之外的动作相关联；

基于确定(i)包括具有移动唇部的脸部的表示的所述视频帧的序列的所述第一部分与语音相关联，以及(ii)包括具有移动唇部的脸部的表示的所述视频帧的序列的所述第二部分与除语音之外的动作相关联，提取与包括具有移动唇部的脸部的表示的所述视频帧的序列的所述第一部分同步的音频数据的部分；

由自动语音识别器，通过对与所述视频帧的序列同步的音频数据的提取部分执行语音识别而不对除了与所述视频帧的序列同步的音频数据的提取部分之外的音频数据执行语音识别，来生成所述音频数据的提取部分的录音；以及

提供生成的录音，以用于输出。

2.根据权利要求1所述的方法，其中：

确定所述视频数据的视频帧的序列包括具有移动唇部的脸部的表示包括：

识别对于具有移动唇部的脸部的表示的一个或多个特征统计；并且被训练以确定唇部移动是与语音相关联还是与除语音之外的动作相关联的所述模型被配置为：

确定一个或多个所识别的特征统计是否包括对于与语音相关联的唇部移动的特征统计。

3.根据权利要求1所述的方法，包括：

确定视频数据包括用户动作；以及

响应于确定视频数据包括用户动作，确定视频数据的视频帧的序列包括具有移动唇部的脸部的表示。

4.根据权利要求1所述的方法，其中：

从智能电话接收视频数据和与所述视频数据同步的音频数据；以及

所述视频数据由智能电话的前置摄像机捕获。

5.根据权利要求1所述的方法，其中所述音频数据的提取部分编码由用户所说的言语查询。

6.根据权利要求5所述的方法，包括：

响应于确定视频数据的视频帧的序列的所述第一部分包括具有与语音相关联的移动唇部的脸部的表示，激活个人助理系统以处理由用户所说的言语查询。

7.根据权利要求1所述的方法，其中确定所述视频数据的视频帧的序列包括具有移动唇部的脸部的表示包括：

获得所述视频数据的连续视频帧的多个子集；以及

使用深度神经网络处理所述视频数据的连续视频帧的子集中的每一个子集，所述深度神经网络配置为：

接收连续视频帧的每个子集；以及

针对连续视频帧的每个子集计算置信度分数，所述置信度分数表示连续视频帧的子集包括具有移动唇部的脸部的表示的可能性。

8.根据权利要求1所述的方法，其中，被训练以确定唇部移动是与语音相关联还是与除语音之外的动作相关联的所述模型被配置为：

从视频数据获得视频帧的序列的连续视频帧的多个子集；以及

使用深度神经网络处理视频帧的序列的连续视频帧的子集中的每一个子集，所述深度神经网络配置为：

接收视频帧的序列的连续视频帧的每个子集；以及

针对视频帧的序列的连续视频帧的每个子集计算置信度分数，所述置信度分数表示连续视频帧的子集包括具有与语音相关联的唇部移动的脸部的表示的可能性。