[发明专利]使用视听数据进行说话分类

权利要求书

1.一种由一个或多个数据处理装置执行的方法，该方法包括：

获得每个图像描绘在相应时间点给定人物的嘴部的一个或多个图像，其中所述相应时间点中的每一个是不同的；

使用图像嵌入神经网络处理所述一个或多个图像，以生成所述一个或多个图像的潜在表示；

获得对应于所述一个或多个图像的音频数据；

使用音频嵌入神经网络处理所述音频数据的表示，以生成所述音频数据的潜在表示；以及

使用循环神经网络处理所述一个或多个图像的潜在表示和所述音频数据的潜在表示，以生成定义针对给定人物在所述相应时间点中的一个或多个是否正在说话的预测的输出，其中，生成所述输出包括：由所述循环神经网络确定针对所述给定人物在所述相应时间点中的一个或多个是否正在说话的所述预测，所述预测包括所述给定人物在所述相应时间点是否正在说话的概率；

其中，所述图像嵌入神经网络、所述音频嵌入神经网络和所述循环神经网络通过端到端优化过程进行训练。

2.根据权利要求1所述的方法，其中，获得每个图像描绘在相应时间点给定人物的嘴部的一个或多个图像包括：

从视频获得一个或多个视频帧，其中所述视频帧中的每一个描绘给定人物；

确定所述一个或多个视频帧中的每一个中给定人物的相应位置；以及

对于所述一个或多个视频帧中的每一个，基于给定人物在该视频帧中的位置，裁剪描绘给定人物的嘴部的视频帧的相应部分。

3.根据权利要求2所述的方法，其中，获得对应于所述一个或多个图像的音频数据包括：

获得与视频的所述一个或多个视频帧对应的音频数据。

4.根据权利要求1所述的方法，其中，所述一个或多个图像中的每一个除了描绘给定人物的嘴部之外，还描绘给定人物的面部或身体。

5.根据权利要求1所述的方法，其中，所述音频数据的表示包括所述音频数据的梅尔频率倒谱系数。

6.根据权利要求1所述的方法，其中，使用循环神经网络处理所述一个或多个图像的潜在表示和所述音频数据的潜在表示，以生成定义针对给定人物在所述相应时间点中的一个或多个是否正在说话的预测的输出包括：

处理所述一个或多个图像的潜在表示和所述音频数据的潜在表示以更新循环神经网络的当前内部状态，以生成循环神经网络的新内部状态；以及

处理循环神经网络的新内部状态，以生成定义针对给定人物在所述相应时间点中的一个或多个是否正在说话的预测的输出。

7.根据权利要求1所述的方法，其中，所述图像嵌入神经网络和所述音频嵌入神经网络各自包括一个或多个卷积神经网络层。

8.根据权利要求1所述的方法，其中，所述循环神经网络包括多个门控循环单元(GRU)。

9.一种说话分类的系统，包括：

数据处理装置；

存储器，其与数据处理装置进行数据通信并存储指令，所述指令使数据处理装置执行操作，所述操作包括：

获得每个图像描绘在相应时间点给定人物的嘴部的一个或多个图像，其中所述相应时间点中的每一个是不同的；

使用图像嵌入神经网络处理所述一个或多个图像，以生成所述一个或多个图像的潜在表示；

获得对应于所述一个或多个图像的音频数据；

使用音频嵌入神经网络处理所述音频数据的表示，以生成所述音频数据的潜在表示；以及

使用循环神经网络处理所述一个或多个图像的潜在表示和所述音频数据的潜在表示，以生成定义针对给定人物在所述相应时间点中的一个或多个是否正在说话的预测的输出，其中，生成所述输出包括由所述循环神经网络确定针对所述给定人物在所述相应时间点中的一个或多个是否正在说话的所述预测，所述预测包括所述给定人物在所述相应时间点是否正在说话的概率；

其中，所述图像嵌入神经网络、所述音频嵌入神经网络和所述循环神经网络通过端到端优化过程进行训练。