[发明专利]用卷积神经网络处理内容的系统和方法

权利要求书

1.一种计算机实现的方法，包括：

由计算系统以第一分辨率获得一定长度的一组视频帧；

由所述计算系统使用卷积神经网络处理所述一定长度的所述一组视频帧以输出与所述一组视频帧相对应的一个或多个信号，所述卷积神经网络包括(i)一组二维卷积层，(ii)一组三维卷积层，和(iii)一组三维解卷积层，其中，所述三维卷积层将所述一组视频帧降低到第二分辨率，并且其中，所述三维解卷积层上采样所述一组视频帧；以及

由所述计算系统从所述卷积神经网络获得与所述一定长度的所述一组视频帧相对应的一个或多个输出信号，所述输出信号提供与所述一组视频帧中的一个或多个体素相对应的信息。

2.根据权利要求1所述的计算机实现的方法，其中，获得对应于所述一组视频帧的一个或多个输出进一步包括：

由所述计算系统获得所述一组视频帧中的一个或多个体素的一个或多个相应特征描述符，其中，每个所述特征描述符指示识别的场景、对象或动作。

3.根据权利要求1所述的计算机实现的方法，其中，获得对应于所述一组视频帧的一个或多个输出进一步包括：

由所述计算系统获得所述一组视频帧中的一个或多个体素的相应光流，其中，所述体素的所述光流至少描述所述体素的预测方向和大小。

4.根据权利要求1所述的计算机实现的方法，其中，获得对应于所述一组视频帧的一个或多个输出进一步包括：

由所述计算系统获得所述一组视频帧中的一个或多个体素的相应深度测量值。

5.根据权利要求1所述的计算机实现的方法，其中，使用所述卷积神经网络的所述一组三维解卷积层处理所述一个或多个信号进一步包括：

由所述计算系统将由所述一组三维卷积层产生的信号的至少一部分输入到所述一组三维解卷积层，所述三维解卷积层被训练为将至少一个三维解卷积操作应用于所述信号的一部分。

6.根据权利要求5所述的计算机实现的方法，其中，所述至少一个三维解卷积操作至少基于一个或多个三维滤波器以解卷积所述信号的一部分，并且其中，所述三维解卷积操作使得视频内容的表示在信号大小上增加。

7.根据权利要求1所述的计算机实现的方法，使用所述卷积神经网络处理所述一组视频帧以输出一个或多个信号，所述卷积神经网络包括(i)一组二维卷积层和(ii)一组三维卷积层进一步包括：

由所述计算系统将所述一组视频帧的表示输入到所述一组二维卷积层以输出一组第一信号，所述二维卷积层被训练为将至少一个二维卷积操作应用于视频内容的表示；以及

由所述计算系统将所述一组第一信号的至少一部分输入到所述一组三维卷积层以输出一组第二信号，所述三维卷积层被训练为将至少一个三维卷积操作应用于所述一组第一信号。

8.根据权利要求7所述的计算机实现的方法，其中，所述至少一个二维卷积操作至少基于一个或多个二维滤波器来卷积所述视频内容的所述表示，并且其中，所述二维卷积操作使得所述视频内容的表示在信号大小上减小。

9.根据权利要求7所述的计算机实现的方法，其中，所述至少一个三维卷积操作至少基于一个或多个三维滤波器来卷积所述一组第一信号，并且其中，所述三维卷积操作使得所述视频内容的表示在信号大小上减小。

10.根据权利要求1所述的计算机实现的方法，其中，所述一组视频帧包括多于两个的视频帧。