[发明专利]一种基于关系建模的弱监督视频动作定位模型的训练方法

说明书

本发明公开了一种基于关系建模的弱监督视频动作定位模型的训练方法，包括：构建初始动作定位模型，其中，初始动作定位模型包括：特征提取模块、视频内关系更新模块、跨视频关系更新模块、分类与定位模块；对样本视频进行特征提取输出初始视频特征；对初始视频特征进行处理得到视频内关系特征；对视频内关系特征进行处理得到背景与前景分离的跨视频特征；根据内关系特征和跨视频特征对初始动作定位模型进行训练，并通过训练后的动作定位模型对视频进行动作定位。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于关系建模的弱监督视频动作定位模型的训练方法。

背景技术

弱监督时序动作定位试图从一段未裁剪的视频中，在仅给定视频级别类别标签监督的情况下，定位出所有的动作片段。如今，动作定位技术已经广泛应用于众多领域，如视频监控，自动驾驶，视频检索，体育视频集锦生成等。

随着深度学习的发展，弱监督视频动作定位技术有着很大的进步。然而现有的方法往往是先得到片段级别的类别得分，再通过注意力机制和阈值进行筛选，得到阈值较大的连续片段作为动作片段输出。一些文献直接通过时序类别激活图来进行定位。一些学者使用条件随机场，聚类，背景损失的方式去解决视频神经网络在分类时候关注的视频片段碎片化问题。虽然现阶段时序检测任务发展迅速，但这些方法往往将视频片段看作是相互独立的个体，未能对视频内以及视频间进行建模，这使得现有方法在面对背景复杂，场景多变的实际应用中时，产生动作定位不完整，动作背景混淆两大问题，给弱监督定位的实际应用带来巨大的挑战。

发明内容

有鉴于此，本申请提供了一种基于关系建模的弱监督视频动作定位模型的训练方法，以期至少部分的解决上述提及的技术问题之一。

在本发明实施方式的第一方面中，提供了一种基于关系建模的弱监督视频动作定位模型的训练方法，包括：

构建初始动作定位模型，其中，上述初始动作定位模型包括：特征提取模块、视频内关系更新模块、跨视频关系更新模块、分类与定位模块；

通过上述特征提取模块对样本视频进行特征提取，输出具有相同动作特征标签的第一初始视频特征和第二初始视频特征，其中，上述第一初始视频特征和上述第二初始视频特征分别包括多个视频片段特征；

通过上述视频内关系更新模块对上述第一初始视频特征和上述第二初始视频特征中的视频片段特征分别进行处理，以更新上述第一初始视频特征和上述第二初始视频特征，得到第一视频内关系特征和第二视频内关系特征；

通过上述跨视频关系更新模块对上述第一视频内关系特征和上述第二视频内关系特征进行处理，得到跨视频融合特征，根据上述跨视频融合特征和上述第一初始视频特征生成第一跨视频特征，根据上述跨视频融合特征和上述第二初始视频特征生成第二跨视频特征；

根据上述第一视频内关系特征和上述第一跨视频特征，以及/或者上述第二视频内关系特征和上述第二跨视频特征，输入上述分类与定位模块，以训练上述初始动作定位模型，得到训练后的动作定位模型。

根据本发明实施例，上述通过上述特征提取模块对样本视频进行特征提取，输出具有相同动作特征标签的第一初始视频特征和第二初始视频特征包括：

通过上述特征提取模块对样本视频进行特征提取，得到初始视频特征集；

从上述初始视频特征集中随机采样，输出上述第一初始视频特征和上述第二初始视频特征。

根据本发明实施例，上述通过上述视频内关系更新模块对上述第一初始视频特征和上述第二初始视频特征中的视频片段特征分别进行处理，以更新上述第一初始视频特征和上述第二初始视频特征，得到第一视频内关系特征和第二视频内关系特征包括：

分别对上述第一初始视频特征和上述第二初始视频特征进行降维处理，得到降维后的上述第一初始视频特征和上述第二初始视频特征；