[发明专利]一种基于自监督学习的视频聚类方法

权利要求书

1.一种基于自监督学习的视频聚类方法，其特征在于：包括以下步骤：

步骤一：对视频V_i使用两种不同采样策略进行采样，得到包含全局信息的序列V_{i_l}和包含局部信息的序列V_{i_s}；

步骤二：对视频V_i分别在RGB和光流上进行编码，得到特征值f₁(V_i)，f₂(V_i)；

步骤三：所述视频的RGB特征值f₁(V_i)在f₁(V)中的k个最近邻为f₁(V_i1)，...，f₁(V_ik)，拉近对应光流特征值的距离，即f₂(V_i)与f₂(V_i1)，...，f₂(V_ik)的距离；

步骤四：重复步骤三，拉近由光流最近邻指导的RGB特征值的距离；

步骤五：由于同一视频不同片段属于同一类别，拉近f₁(V_i)与f₁(V_{i_s})和f₁(V_{i_l})的距离；

步骤六：对数据集V中的每个视频V_i提取视频帧X_ij；

步骤七：采用条件变分自编码器对所有的X进行图片聚类，得到视频静态标签；

步骤八：利用步骤三、四、五中得到的视频特征值，结合步骤七得到的视频静态标签进行视频聚类，得到视频聚类标签。

2.根据权利要求1所述的基于自监督的视频聚类方法，其特征在于：步骤一中，序列V_{i_l}采用的采样策略为将视频分割为等长的片段，并从每个片段中选取一帧组成新序列；序列V_{i_s}采用的采样策略为随机选取一个起点，截取定长的视频片段作为新序列。

3.根据权利要求1所述的基于自监督的视频聚类方法，其特征在于：步骤二中，所述编码采用S3D网络进行特征提取。

4.根据权利要求1所述的基于自监督的视频聚类方法，其特征在于：步骤三中，用归一化温度-尺度交叉熵损失来拉近f₂(V_i)与f₂(V_i1)，...，f₂(V_ik)距离。

5.根据权利要求1所述的基于自监督的视频聚类方法，其特征在于：步骤五中，使用相对熵损失拉近f₁(V_i)与f₁(V_{i_s})和f₁(V_{i_l})的距离。

6.根据权利要求1所述的基于自监督的视频聚类方法，其特征在于：步骤六中，提取视频RGB下的图片帧。

7.根据权利要求1所述的基于自监督的视频聚类方法，其特征在于：步骤七中，条件变分自编码器对图片进行聚类，其中帧所在的视频标签将作为自编码器的条件输入。

8.根据权利要求1所述的基于自监督的视频聚类方法，其特征在于：步骤八中，采用Kmeans对视频特征值进行聚类，并通过聚类损失函数更新特征值。

9.根据权利要求8所述的基于自监督的视频聚类方法，其特征在于：所述聚类损失函数定义为最近邻的对数似然损失，加上交叉熵损失，以防止聚类退化。