[发明专利]基于先验知识的直推式广义零样本视频行为识别方法

权利要求书

1.一种基于先验知识的直推式广义零样本视频行为识别方法，其特征在于，该方法通过一直推式广义零样本视频行为识别模型对待识别视频进行行为类别识别，其中，

所述直推式广义零样本视频行为识别模型利用有标记的源数据和无标记的目标数据训练获得，训练过程包括：

构建第一模型，在先验数据集上进行先验知识学习，得到参数

构建与所述第一模型结构相同的第二模型，以所述参数作为初始化参数，在源数据集上进行源学习，得到参数θ^s；

在所述第二模型上添加标签预测模块，构建获得第三模型，在源数据集和目标数据集上进行直推式学习，训练完成的第三模型即为直推式广义零样本视频行为识别模型，所述标签预测模块的权重w^pre基于源类和目标类的规范化语义向量获得。

2.根据权利要求1所述的基于先验知识的直推式广义零样本视频行为识别方法，其特征在于，所述第一模型和第二模型均包括视觉特征编码模块和视觉语义桥接模块，其中，所述视觉特征编码模块用于对输入视频序列进行视频特征提取，所述视觉语义桥接模块用于将所述视频特征投射到公共语义空间中，获得语义嵌入，所述公共语义空间基于所述源数据和目标数据构建。

3.根据权利要求2所述的基于先验知识的直推式广义零样本视频行为识别方法，其特征在于，所述视觉特征编码模块中，利用三维卷积神经网络对包含多帧的视频帧序列进行时空域卷积，使用时空卷积块作为视觉编码器，获取所述视觉特征。

4.根据权利要求2所述的基于先验知识的直推式广义零样本视频行为识别方法，其特征在于，所述视觉语义桥接模块包括多个带有ReLU非线性激活层的全连接层。

5.根据权利要求2所述的基于先验知识的直推式广义零样本视频行为识别方法，其特征在于，所述公共语义空间中，使语义相似的语义嵌入在语义空间中接近，采用类名的Word2vec表示。

6.根据权利要求1所述的基于先验知识的直推式广义零样本视频行为识别方法，其特征在于，对先验数据集与源类和目标类之间进行类别语义关系的相似度剔除处理后，再进行所述先验知识学习。

7.根据权利要求1所述的基于先验知识的直推式广义零样本视频行为识别方法，其特征在于，所述源学习中，以均方误差损失作为损失函数。

8.根据权利要求1所述的基于先验知识的直推式广义零样本视频行为识别方法，其特征在于，所述直推式学习中，以交叉熵损失和偏差损失作为损失函数。

9.根据权利要求1所述的基于先验知识的直推式广义零样本视频行为识别方法，其特征在于，所述进行行为类别识别时，基于所述直推式广义零样本视频行为识别模型输出的概率得分确定待识别视频属于源类还是目标类，若属于源类，则基于第二模型确定预测类别标签，若属于目标类，则基于第一模型确定预测类别标签。

10.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如权利要求1-9任一项所述的直推式广义零样本视频行为识别方法。