[发明专利]行为预测方法、装置、系统和存储介质

说明书

本发明提供了一种行为预测方法、装置、系统和存储介质，所述行为预测方法包括：获取部分行为动作视频帧序列，所述部分行为动作视频帧序列仅体现行为动作的部分而未体现所述行为动作的全部；从所述部分行为动作视频帧序列中选择关键信息帧，所述关键信息帧在所述部分行为动作视频帧序列中具有显著区分性；以及基于所述关键信息帧预测所述行为动作的类别。根据本发明实施例的行为预测方法、装置、系统和存储介质可在仅观测到行为动作的部分视频时通过提取关键信息帧来预测行为动作的类别，极大地提升了当观测到的视频在整个行为动作中占比很低时对该行为动作的预测的准确率。

技术领域

本发明涉及图像和视频识别技术领域，更具体地涉及一种行为预测方法、装置、系统和存储介质。

背景技术

人类行为识别在视频监控、视频检索中有巨大的应用价值。越来越多的算法被提出用于识别特定的行为，但是这些方法只能用来识别已经完全发生的行为动作，即只有当某个行为动作发生完全时才能给出准确的判断。

对于一个合格的行为识别智能系统来说，它需要具备防患于未然的能力，即在行为完全发生之前将其准确识别出来，从而避免不必要的损失，比如自动驾驶系统，在车祸发生之前准确预测并及时采取相应措施就显得尤为重要。

目前在视频中做行为预测的算法要么使用所有观测到的帧，要么随机选择部分帧来表征视频，这些算法的预测准确率不高，尤其是在在动作刚发生时(比如完整行为动作区间的前10％)的预测准确率非常低。

发明内容

本发明提出了一种关于行为预测的方案，其旨在解决观测到部分视频时的行为预测问题，其选择观测到的部分视频帧中的关键信息帧来表征该视频，对于观测到的视频在整个行为动作中占比很低的场景可显著提高其行为预测的准确率。下面简要描述本发明提出的关于行为预测的方案，更多细节将在后续结合附图在具体实施方式中加以描述。

根据本发明一方面，提供了一种行为预测方法，所述行为预测方法包括：获取部分行为动作视频帧序列，所述部分行为动作视频帧序列仅体现行为动作的部分而未体现所述行为动作的全部；从所述部分行为动作视频帧序列中选择关键信息帧，所述关键信息帧在所述部分行为动作视频帧序列中具有显著区分性；以及基于所述关键信息帧预测所述行为动作的类别。

在一个实施例中，所述关键信息帧包括关键信息图像和/或关键信息光流。

在一个实施例中，所述关键信息图像的选择包括：计算所述部分行为动作视频帧序列中每一帧的分类得分值，所述分类得分值为所述每一帧的分类得分向量中得分值最高的类别的值或者为所述每一帧的分类得分向量中各类别得分值之间的方差；以及将所述部分行为动作视频帧序列按照所述分类得分值从高到低排序，并将排序后得到的前m帧图像作为所述关键信息图像，m为自然数。

在一个实施例中，所述关键信息光流的选择包括：计算所述部分行为动作视频帧序列中所有连续两帧之间的光流以形成多个堆叠光流；计算所述多个堆叠光流中每个堆叠光流的分类得分值，所述分类得分值为所述每个堆叠光流的分类得分向量中得分值最高的类别的值或者为所述每个堆叠光流的分类得分向量中各类别得分值之间的方差；以及将所述多个堆叠光流按照所述分类得分值从高到低排序，并将排序后得到的前n个堆叠光流作为所述关键信息光流，n为自然数。

在一个实施例中，所述类别包括待预测的行为动作的类别。

在一个实施例中，所述形成多个堆叠光流包括：将所述部分行为动作视频帧序列中所有连续两帧之间的光流分别分解为水平和竖直两个方向作为两个通道的光流图；以及将所述部分行为动作视频帧序列中任意连续p帧的光流图堆叠在一起构成2p个通道的堆叠光流图作为一个堆叠光流，多个连续p帧的光流图堆叠在一起形成所述多个堆叠光流，其中p为自然数。

在一个实施例中，所述关键信息图像的选择是基于第一神经网络来实施的，所述关键信息光流的选择是基于第二神经网络来实施的，所述第一神经网络和所述第二神经网络为具有相同的网络结构且均为小型神经网络。