[发明专利]用卷积神经网络处理内容的系统和方法

说明书

系统、方法和非暂时性计算机可读介质可以以第一分辨率获得一组视频帧。使用卷积神经网络处理所述一组视频帧以输出一个或多个信号，卷积神经网络包括(i)一组二维卷积层和(ii)一组三维卷积层，其中，该处理使得该组视频帧被降低到第二分辨率。使用卷积神经网络的一组三维解卷积层处理该一个或多个信号。从卷积神经网络获得对应于该组视频帧的一个或多个输出。

技术领域

本技术涉及媒体处理领域。更具体地说，本技术涉及使用卷积神经网络处理视频内容的技术。

背景技术

现在人们经常利用计算设备或系统用于各种各样的目的。例如，用户可以使用他们的计算设备(或系统)来相互交互、创建内容、共享信息和访问信息。在一些情况下，计算设备的用户可以利用计算设备的相机或其他图像传感器来捕捉或记录诸如视频内容的媒体内容。

发明内容

本公开的各种实施方式可以包括被配置为以第一分辨率获得一组视频帧的系统、方法和非暂时性计算机可读介质。使用卷积神经网络处理所述一组视频帧以输出一个或多个信号，所述卷积神经网络包括(i)一组二维卷积层和(ii)一组三维卷积层，其中所述处理使得所述一组视频帧被降低到第二分辨率；使用卷积神经网络的一组三维解卷积层处理一个或多个信号。从卷积神经网络获得对应于所述一组视频帧的一个或多个输出。

在一个实施方式中，所述系统、方法和非暂时性计算机可读介质被配置为获得该组视频帧中的一个或多个体素的一个或多个相应特征描述符，其中，每个特征描述符指示识别的场景、对象或动作。

在一个实施方式中，系统、方法和非暂时性计算机可读介质被配置为获得所述一组视频帧中的一个或多个体素的相应光流，其中，所述体素的光流至少描述所述体素的预测方向和大小。

在一个实施方式中，系统、方法和非暂时性计算机可读介质被配置为获得所述一组视频帧中的一个或多个体素的相应深度测量值。

在一个实施方式中，系统，方法和非暂时性计算机可读介质被配置为将由所述一组三维卷积层产生的信号的至少一部分输入到所述一组三维解卷积层，所述三维解卷积层被训练为对所述信号的一部分施加至少一个三维解卷积操作。

在一个实施方式中，所述至少一个三维解卷积操作至少基于一个或多个三维滤波器以解卷积所述信号的一部分，并且其中，所述三维解卷积操作使得视频内容的表示在信号大小上增加。

在一个实施方式中，所述系统、方法和非暂时性计算机可读介质被配置为将所述一组视频帧的表示输入到所述一组二维卷积层以输出一组第一信号，所述二维卷积层被训练为将至少一个二维卷积操作应用于视频内容的表示，以及将所述一组第一信号的至少一部分输入到所述一组三维卷积层以输出一组第二信号，所述三维卷积层被训练为将至少一个三维卷积操作应用于所述一组第一信号。

在一个实施方式中，至少一个二维卷积操作至少基于一个或多个二维滤波器来卷积视频内容的表示，并且其中，二维卷积操作使得视频内容的表示在信号大小上减小。

在一个实施方式中，所述至少一个三维卷积操作至少基于一个或多个三维滤波器来卷积所述一组第一信号，并且其中，所述三维卷积操作使得所述视频内容的表示在信号大小上减小。

在一个实施方式中，一组视频帧包括多于两个视频帧。

应该理解的是，根据附图和以下详细描述，所公开的技术的许多其他特征、应用、实施方式和/或变型将是显而易见的。在不脱离所公开的技术的原理的情况下，可以采用在此描述的结构、系统、非临时性计算机可读介质和方法的附加和/或替代实现。