[发明专利]使用视听数据进行说话分类

说明书

用于生成针对目标人物在视频的部分期间是否正在说话的预测的方法、系统和装置，包括编码在计算机存储介质上的计算机程序。在一个方面，一种方法包括：获得每个图像描绘在相应时间点给定人物的嘴部的一个或多个图像。使用图像嵌入神经网络处理图像，以生成图像的潜在表示。使用音频嵌入神经网络处理对应于图像的音频数据，以生成音频数据的潜在表示。使用循环神经网络处理图像的潜在表示和音频数据的潜在表示，以生成针对给定人物是否正在说话的预测。

技术领域

本说明书涉及使用机器学习模型处理数据。

背景技术

机器学习模型接收输入，并根据接收到的输入生成输出，例如预测输出。一些机器学习模型是参数模型，其根据接收到的输入和模型参数的值生成输出。

一些机器学习模型是深度模型，其采用模型的多个层针对接收到的输入生成输出。例如，深度神经网络是一种深度机器学习模型，包括输出层和一个或多个隐藏层，每个隐藏层将非线性变换应用于接收到的输入以生成输出。

发明内容

本说明书描述了一种实现为在一个或多个位置的一个或多个计算机上的计算机程序的系统，该系统生成针对目标人物在视频的部分期间是否正在说话的预测。

根据第一方面，提供了一种方法，该方法包括：获得一个或多个图像，每个图像描绘相应时间点给定人物的嘴部，其中相应时间点中的每一个是不同的。使用图像嵌入神经网络处理所述一个或多个图像，以生成所述一个或多个图像的潜在表示(latentrepresentation)。获得对应于所述一个或多个图像的音频数据。使用音频嵌入神经网络处理所述音频数据的表示，以生成音频数据的潜在表示。使用循环神经网络处理所述一个或多个图像的潜在表示和所述音频数据的潜在表示，以生成一个输出，该输出定义了针对给定人物在相应时间点中的一个或多个处是否正在说话的预测。图像嵌入神经网络、音频嵌入神经网络和循环神经网络通过端到端优化过程进行训练。

在一些实施方式中，获得一个或多个图像，其中每个图像描绘相应时间点处给定人物的嘴部包括：从视频中获得一个或多个视频帧，其中视频帧中的每一个描绘该给定人物。确定所述一个或多个视频帧中的每一个中给定人物的相应位置。对于所述一个或多个视频帧中的每一个，基于给定人物在视频帧中的位置，裁剪描绘给定人物嘴部的视频帧的相应部分。

在一些实施方式中，音频数据对应于视频的一个或多个视频帧。

在一些实施方式中，所述一个或多个图像中的每一个除了描绘给定人物的嘴部之外，还描绘给定人物的面部或身体。

在一些实施方式中，音频数据的表示包括音频数据的梅尔频率倒谱系数(mel-frequency cepstral coefficients)。

在一些实施方式中，处理一个或多个图像的潜在表示和音频数据的潜在表示以更新循环神经网络的当前内部状态，从而生成循环神经网络的新内部状态。处理循环神经网络的新内部状态以生成输出，该输出定义了针对给定人物在各个时间点中的一个或多个处是否正在说话的预测。

在一些实施方式中，图像嵌入神经网络和音频嵌入神经网络各自包括一个或多个卷积神经网络层。

在一些实施方式中，循环神经网络包括多个门控循环单元(Gated RecurrentUnits，GRUs)。

根据第二方面，提供了一种系统，包括：(i)数据处理装置，以及(ii)存储器，其与该数据处理装置进行数据通信并存储使该数据处理装置执行如上所述方法的操作的指令。

根据第三方面，提供了一种或多种非暂时性计算机存储介质，其存储指令，该指令当由一个或多个计算机执行时，使该一个或多个计算机执行上述方法的操作。

可以实施本说明书中描述的主题的特定实施例，以实现以下优点中的一个或多个。