[发明专利]对时间序列图像数据进行分类

权利要求书

1.一种方法，所述方法包括：

将视频流的多个帧输入到第一神经网络；

从所述第一神经网络存取第一输出；

将从所述多个帧获得的一个或多个偏心率图输入到第二神经网络；

从所述第二神经网络存取第二输出；

将所述第一输出与所述第二输出融合为融合输出；以及

从所述融合输出对所述视频流中出现的动作进行分类。

2.如权利要求1所述的方法，所述方法还包括使用移动窗口方法来从所述多个帧获得所述一个或多个偏心率图。

3.如权利要求2所述的方法，其中使用移动窗口方法来从所述多个帧获得所述一个或多个偏心率图包括：使用常数学习率和加权平均型聚合来获得所述一个或多个偏心率图。

4.如权利要求1所述的方法，其中将视频流的多个帧输入到第一神经网络包括：将RGB视频流的多个帧输入到所述第一神经网络。

5.如权利要求1所述的方法，所述方法还包括：

所述第一神经网络从所述多个帧对所述视频流的第一一个或多个特征进行分类；以及

所述第二神经网络从所述一个或多个偏心率图对所述视频流的第二一个或多个特征进行分类；并且

其中从所述融合输出对所述视频流中出现的动作进行分类包括：从所述第一一个或多个特征与所述第二一个或多个特征的融合对所述动作进行分类。

6.如权利要求1所述的方法，其中从所述融合输出对所述视频流中出现的动作进行分类包括对以下各项中的一者进行分类：人类意图、姿势、移动或视频描述。

7.一种计算机系统，所述计算机系统包括：

处理器；

系统存储器，所述系统存储器耦合到所述处理器并且存储指令，所述指令被配置为致使所述处理器：

从视频流存取多个帧；

将所述多个帧输入到第一神经网络；

从所述多个帧获得一个或多个偏心率图；

将所述一个或多个偏心率图输入到第二神经网络；

从所述第一神经网络存取第一输出；

从所述第二神经网络存取第二输出；以及

将所述第一输出与所述第二输出融合为融合输出，从所述融合输出对所述视频流中出现的动作进行分类。

8.如权利要求7所述的计算机系统，其中被配置为从所述多个帧获得所述一个或多个偏心率图的所述指令包括：被配置为使用移动窗口方法来从所述多个帧获得所述一个或多个偏心率图的指令。

9.如权利要求8所述的计算机系统，其中被配置为使用移动窗口方法来从所述多个帧获得所述一个或多个偏心率图的所述指令包括：被配置为使用常数学习率和加权平均型聚合来获得所述一个或多个偏心率图的指令。

10.如权利要求7所述的计算机系统，其中被配置为从所述多个帧获得所述一个或多个偏心率图的所述指令包括：被配置为从所述视频流的帧率确定所述多个帧的指令。

11.如权利要求7所述的计算机系统，其中被配置为从所述融合输出对所述视频流中出现的动作进行分类的所述指令包括被配置为对以下各项中的一者进行分类的指令：人类意图、姿势、移动或视频描述。

12.如权利要求7所述的计算机系统，其中被配置为从视频流存取多个帧的所述指令包括被配置为从RGB视频流存取多个帧的指令。