[发明专利]对时间序列图像数据进行分类

说明书

本公开提供了“对时间序列图像数据进行分类”。本发明延伸到用于对时间序列图像数据进行分类的方法、系统和计算机程序产品。本发明的各方面包括将来自视频帧的运动信息编码在偏心率图中。偏心率图基本上是聚集了来自多个视频帧的对象、表面和边缘的表观运动的静态图像。一般而言，偏心率反映数据点与同一组变量的过去的读数如何不同。神经网络能够被训练以从偏心率图检测视频中的动作并对所述动作进行分类。偏心率图能够作为输入提供到神经网络。来自所述神经网络的输出能够指示视频中的检测到的运动是否被分类为例如像手势的动作。

技术领域

本发明总体上涉及图像分类领域，并且更具体地涉及对时间序列图像数据进行分类。

背景技术

卷积神经网络(CNN)有能力在每帧的基础上识别视频中类似人、动物和车辆的对象。然而，CNN难以检测在帧之间的这类对象的运动速度和方向。使用传统的计算机视觉技术来手工处理特征的基于表示的解决方案可以显著改进对运动速度和方向的检测。然而，基于表示的解决方案需要足够的人类专业知识，并且对于现实世界解决方案而言通常不是稳健的。

发明内容

将多个视频流帧输入到第一神经网络。存取第一神经网络的输出。从多个帧获得一个或多个偏心率图。将一个或多个偏心率图输入到第二神经网络。存取第一神经网络的输出。将第一输出与第二输出融合为融合输出。从融合输出对视频流中出现的动作进行分类。

附图说明

参考以下描述和附图将更好地理解本发明的具体特征、方面和优点，在附图中：

图1示出了计算装置的示例框图。

图2示出了用于计算偏心率的示例方程式。

图3示出了用于使用移动窗口方法计算数据样本平均值和数据样本方差的示例方程式。

图4示出了用于对帧观测进行加权的示例方程式。

图5示出了用于逼近偏心率的示例方程式。

图6示出了用于计算偏心率图的示例计算机架构。

图7示出了动态场景的示例视频流帧和基于视频流的过去的帧而实现的示例偏心率图。

图8A示出了有助于对视频流中的动作进行分类的示例计算机架构。

图8B示出了有助于对视频流中的动作进行分类的另一个示例计算机架构。

图9A示出了对视频流中的动作进行分类的示例方法的流程图。

图9B示出了对视频流中的动作进行分类的另一种示例方法的流程图。

图10示出了视频帧序列的示例和对应的示例偏心率图。

图11A示出了有助于对视频流中的动作进行分类的示例架构。

图11B示出了有助于对视频流中的动作进行分类的另一个示例架构。

具体实施方式

本发明延伸到用于对时间序列图像数据进行分类的方法、系统和计算机程序产品。

考虑到一组有序图像，有许多技术可用于捕获因观测者与场景之间的相对运动而引起的视觉场景中对象的表观运动模式。一些技术包括光流场、扭曲光流、连续帧差和人视网膜上激发的模型，所述模型可以是有限和无线脉冲响应滤波器或可分离和不可分离的时空分量。然而，这些技术在计算上成本较高，从而限制了其在实时操作中的有用性。此外，这些技术可能对复杂参数的最优选择比较敏感，这往往需要由专家调节。