[发明专利]基于视频弱标记的双模态迭代去噪异常检测方法及终端

权利要求书

1.一种基于视频弱标记的双模态迭代去噪异常检测方法，其特征在于：包括：

S1：将所有视频划分为相同数量的视频片段sⁱ，获取每个视频片段sⁱ的粗粒度标签lⁱ；

S2：所有视频重新划分，将每个视频划分为多个帧数相同的细粒度片段cⁱ，每个细粒度片段cⁱ的标签l^c_i为其所在的粗粒度片段sⁱ的标签lⁱ；

S3：将所有的细粒度片段cⁱ进行扩增数据，将扩增后的数据和其对应的标签l^c_i输入到分类器中，经过训练，得到每一个细粒度片段cⁱ的特征fⁱ和其初步的平均异常得分

S4：将所有的细粒度片段cⁱ按照其初步平均异常得分所在的区间，划分为三个集合，分别是异常近似集S_ano、正常近似集S_nor和模糊集S_amb；

S5：将异常近似集S_ano和正常近似集S_nor分别输入到聚类去噪器中，该去噪器由两个自编码器组成，经过训练，得到两个生成器G_ano和G_nor；

S6：将三个集合分别输入到两个生成器G_ano和G_nor，得到每个集合中的所有视频片段的两个重构误差，根据该误差对对应集合中视频的标签进行初步修正，得到所有片段初步修正的标签y′_i；

S7：将S6中得到的修正的标签y′_i与S3中得到的视频片段的特征fⁱ输入到图卷积去噪器中，构建两个图结构：时间-标签连续性图和特征相似图，利用图卷积训练后得到每个片段的二次修正标签p_i；

S8：利用二次修正标签p_i更新分类器；

S9：重复S3至S8，循环迭代直至收敛；将新的视频片段输入更新后的分类器，输出该视频片段的异常概率。

2.根据权利要求1所述的基于视频弱标记的双模态迭代去噪异常检测方法，其特征在于：S1中，所述获取每个视频片段sⁱ的粗粒度标签lⁱ，包括：

将每一个视频片段sⁱ输入到预训练的社群多示例异常检测模型中，采用双分支多实例学习的方法，对输入的视频片段sⁱ学习到其初步的标签即粗粒度标签lⁱ。

3.根据权利要求1所述的基于视频弱标记的双模态迭代去噪异常检测方法，其特征在于：S2中，

将视频按照每片段30帧重新分割视频，得到新的细粒度片段cⁱ，其对应的粗粒度标签与sⁱ的关系为：

l^c_i＝lⁱ,cⁱ∈sⁱ。

4.根据权利要求1所述的基于视频弱标记的双模态迭代去噪异常检测方法，其特征在于：所述S3，包括：

每个视频细粒度片段cⁱ按照中心裁剪和四角裁剪的原则，扩增为5份，再将其水平方向翻转，最终扩增为10份，以达到数据扩增的目的；

将所有扩增后的数据送入到分类器中，采用TSN网络作为分类器，以细粒度片段cⁱ的标签l^c_i为分类器的监督标签，最终训练后得到每个片段cⁱ的特征fⁱ和其初步的平均异常得分为其10扩增的数据标签的均值。