[发明专利]一种加权融合多种图像任务的视频行为识别方法

权利要求书

1.一种加权融合多种图像任务的视频行为识别方法，包括以下具体步骤：

步骤1.构建初始化的教师网络：

构建常用视觉任务相似度树，初步筛选视频行为识别相关的图像任务作为教师网络，根据常用视觉任务相似度树，选定视频行为识别正相关的视觉图像任务，视频行为识别正相关的视觉图像任务包括场景识别、图像分类和基于图像的行为识别；

步骤2.下载选定若干和视频行为识别正相关的视觉图像任务常用数据集的预训练模型和参数，作为初始化的教师网络；

步骤3.建立多教师视频行为识别知识库:

考虑相关任务与目标任务之间的相关程度，设计量化计算各相关任务作为教师任务过程中的权重，对初始化之后的教师任务进行加权融合过程中的权重计算，将各教师任务的先验知识加权融合，建立多教师的场景、物品、图像行为识别的视频行为识别知识库；

步骤4.在重新分配权重的多教师网络的指导下，对学生网络进行基于对比学习的自监督训练：

选用无标记视频数据，在多教师网络指导下对学生网络(即目标任务或视频行为识别)进行基于对比学习的自监督训练，使得网络模型获得提取面向相关任务的视频特征提取能力；

步骤5.对作为学生网络的视频行为识别模型进行模型微调，在测试数据集上对模型视频行为识别进行性能测试，以获得最终能够用于实际视频行为识别场景的网络模型。

2.按照权利要求1所述加权融合多种图像任务的视频行为识别方法，其特征在于，步骤1所述构建常用视觉任务相似度树包括以下步骤：

步骤1.1.初步筛选视频行为识别相关的图像任务作为教师网络；

步骤1.2.基于视觉任务相似度树，选定若干和视频行为识别最相关的若干图像任务，图像任务包括图像分类任务、场景识别任务和基于图像的行为识别任务，并引入图像识别领域的数据集ImageNet和场景识别领域的数据集Places365，以及图像行为识别数据集BU101和Stanford40；步骤1.3.获取所述的相关图像任务的经典网络模型结构和蕴含先验知识的已训练模型，作为初始化的教师网络分支。

3.按照权利要求1所述加权融合多种图像任务的视频行为识别方法，其特征在于，步骤3中，所述对初始化之后的教师任务进行加权融合过程中的权重计算，将各教师任务建立先验知识库的具体方法包括：

对初始化之后的教师任务进行加权融合过程中的权重计算，按照以下三种方法进行计算：

第一种为离线方法为基于各相关任务单独测试准确率的方式，也就是说和行为识别任务越相关的图像任务，其贡献越大，加权融合的权重更大，即每次单独选择某一个图像任务作为教师任务，分别在所述的网络框架上训练，随后对训练获得的视频行为识别模型在指定数据集上进行测试，最后，分别得到使用每个相关图像任务作为教师任务的视频行为识别的TOP1准确率，将这些准确率经过softmax归一化后的输出作为各个对应教师任务的加权融合权；

第二种为在线对每个训练样本输出不同损失权重的方法，本发明所述的目标网络是在同一视频中，教师网络输出的特征和学生网络输出的特征一致视为相似度高，本发明使用正样本对点积相似度通过softmax归一化后，作为对应的对比损失权重，即正样本对的相似度越高，权重越大；

第三种方法和第二种方法类似，也是在线方法，对于不同的训练样本也给出了不同的损失权重，第三种方法通过正样本对在所有样本对中的相似度排序的序列位置经过softmax归一化来确定损失权重。