[发明专利]行为预测方法、装置、系统和存储介质

权利要求书

1.一种行为预测方法，其特征在于，所述行为预测方法包括：

获取部分行为动作视频帧序列，所述部分行为动作视频帧序列仅体现行为动作的部分而未体现所述行为动作的全部；

从所述部分行为动作视频帧序列中选择关键信息帧，所述关键信息帧在所述部分行为动作视频帧序列中具有显著区分性；以及

基于所述关键信息帧预测所述行为动作的类别。

2.根据权利要求1所述的行为预测方法，其特征在于，所述关键信息帧包括关键信息图像和/或关键信息光流。

3.根据权利要求2所述的行为预测方法，其特征在于，所述关键信息图像的选择包括：

计算所述部分行为动作视频帧序列中每一帧的分类得分值，所述分类得分值为所述每一帧的分类得分向量中得分值最高的类别的值或者为所述每一帧的分类得分向量中各类别得分值之间的方差；以及

将所述部分行为动作视频帧序列按照所述分类得分值从高到低排序，并将排序后得到的前m帧图像作为所述关键信息图像，m为自然数。

4.根据权利要求2所述的行为预测方法，其特征在于，所述关键信息光流的选择包括：

计算所述部分行为动作视频帧序列中所有连续两帧之间的光流以形成多个堆叠光流；

计算所述多个堆叠光流中每个堆叠光流的分类得分值，所述分类得分值为所述每个堆叠光流的分类得分向量中得分值最高的类别的值或者为所述每个堆叠光流的分类得分向量中各类别得分值之间的方差；以及

将所述多个堆叠光流按照所述分类得分值从高到低排序，并将排序后得到的前n个堆叠光流作为所述关键信息光流，n为自然数。

5.根据权利要求3或4所述的行为预测方法，所述类别包括待预测的行为动作的类别。

6.根据权利要求4所述的行为预测方法，其特征在于，所述形成多个堆叠光流包括：

将所述部分行为动作视频帧序列中所有连续两帧之间的光流分别分解为水平和竖直两个方向作为两个通道的光流图；以及

将所述部分行为动作视频帧序列中任意连续p帧的光流图堆叠在一起构成2p个通道的堆叠光流图作为一个堆叠光流，多个连续p帧的光流图堆叠在一起形成所述多个堆叠光流，其中p为自然数。

7.根据权利要求3或4所述的行为预测方法，其特征在于，所述关键信息图像的选择是基于第一神经网络来实施的，所述关键信息光流的选择是基于第二神经网络来实施的，所述第一神经网络和所述第二神经网络具有相同的网络结构且均为小型神经网络。

8.根据权利要求2所述的行为预测方法，其特征在于，所述基于所述关键信息帧预测所述行为动作的类别包括：

基于所述关键信息图像进行分析识别，得到第一预测结果；

基于所述关键信息光流进行分析识别，得到第二预测结果；以及

融合所述第一预测结果和所述第二预测结果，以得到所述行为动作的类别的最终预测结果。

9.根据权利要求8所述的行为预测方法，其特征在于，所述融合所述第一预测结果和所述第二预测结果包括：

将所述第一预测结果和所述第二预测结果按照预定的权重比例进行加权平均。

10.根据权利要求9所述的行为预测方法，其特征在于，所述预定的权重比例为1:1或1:1.5。

11.根据权利要求8所述的行为预测方法，其特征在于，所述基于所述关键信息图像进行分析识别是由第三神经网络来实施的，所述基于所述关键信息光流进行分析识别是由第四神经网络来实施的，所述第三神经网络和所述第四神经网络具有相同的网格结构且均为大型神经网络。