[发明专利]一种短视频分类方法

权利要求书

1.一种短视频分类方法，其特征在于，包括以下步骤：

网络训练，包括选择BN-Inception构建模块；在学习过程中，Batch Normalization将估计每个bach内的激活均值和方差，并使用它们将这些激活值转换为标准高斯分布；在用预训练模型初始化后，冻结所有Batch Normalization层的均值和方差参数，但第一个标准化层除外；在BN-Inception的全局pooling层后添加一个额外的dropout层；使用小批量随机梯度下降算法来学习网络参数；用在ImageNet上预训练的模型对网络权重进行初始化；

网络测试，包括对待分类的短视频进行等间隔截帧，每个视频截取一定帧数；对截取的帧，通过图像处理，取出一定大小的图片输入模型进行预测，在Softmax之前融合截取的帧和不同流的预测分数，最终得出结果，所述模型通过如下方式得到：一个输入视频被分为K段，一个片段从它对应的段中随机采样得到，不同片段的类别得分采用段共识函数进行融合来产生段共识，得到一个视频级的预测，然后对所有模式的预测融合产生最终的预测结果。

2.如权利要求1所述的短视频分类方法，其特征在于，dropout层的dropout比例设置：空间流卷积网络设置为0.8，时间流卷积网络设置为0.7。

3.如权利要求1所述的短视频分类方法，其特征在于，所述一个输入视频被分为K段，一个片段从它对应的段中随机采样得到，不同片段的类别得分采用段共识函数进行融合来产生段共识，得到一个视频级的预测，然后对所有模式的预测融合产生最终的预测结果具体包括：

给定一段视频V，把它按相等间隔分为K段{S₁，S₂，S₃，.......，S_K}，接着，TSN按如下方式对一系列片段进行建模：

TSN(T₁，T₂，......，T_K)＝H(G(F(T₁；W)，F(T₂；W)，......，F(T_K；W)))

其中：(T₁，T₂，......，T_K)代表片段序列，每个片段T_K从它对应的段S_k中随机采样得到；F(T_k；W)函数代表采用W作为参数的卷积网络作用于短片段T_k，函数返回T_k相对于所有类别的得分；段共识函数G结合多个短片段的类别得分输出以获得他们之间关于类别假设的共识；基于这个共识，预测函数H预测整段视频属于每个行为类别的概率；结合标准分类交叉熵损失，关于部分共识的最终损失函数G的形式为：

其中，C是行为总类别数，y_i是类别i的标定好的真实数据，G_i＝g(F_i(T₁)，...，F_i(T_K))，采用聚合函数g从所有片段中相同类别的得分中推断出某个类别分数G_i，聚合函数g采用均匀平均法来表示最终识别精度。

4.如权利要求3所述的短视频分类方法，其特征在于，用标准反向传播算法，利用多个片段来联合优化模型参数W，在反向传播过程中，模型参数W关于损失值L的梯度为：

其中，K是TSN使用的段数，TSN从整个视频中学习模型参数而不是一个短的片段，通过对所有视频固定K。