[发明专利]一种基于时域注意力池化网络的动图分类方法及装置

权利要求书

1.一种基于时域注意力池化网络的动画GIF内容分类方法，其特征在于，所述方法包括：

构建网络动图数据集，并构建一动画GIF内容分类模型，所述内容分类模型包括：特征提取模块、时域注意力池化网络与损失层；

通过所构建的网络动图数据集训练所述内容分类模型，对输出结果使用交叉熵损失评估，为每一帧做分类时加入辅助监督的方式，获取所述内容分类模型的总体损失函数；

基于所述总体损失函数捕捉动图中与内容标签最相关的关键帧，实现动画分类；

所述网络动图数据集为：

动图中大多数的帧与真实的内容标签无关、数据集中包含全面且多样的动图内容、且动图的空间大小和序列长度跨度；数据集中类别存在不平衡性；

所述特征提取模块为：

将第i个GIF样本中的T个帧作为输入，使用二维卷积骨干网络进行处理得到GIF中的各帧的特征映射；

通过空间池化操作减少特征图的空间维数，特征表示形式化地表示为X_i∈R^T×C，其中C是特征通道的数目，X_i为第i个GIF样本中的T个帧的特征表示，R为实数；

所述时域注意力池化网络为：

使用一单层的线性分类器得到预测分数，注意力模块为每一帧计算权重，基于权重得到最终的预测分数；

所述网络还配置有两层的多层感知机与一个防止过拟合层；

所述总体损失函数为：

L＝γ₁L_ce+γ₂L_aux+γ₃L_ent

其中，γ₁，γ₂与γ₃为扩展因子，L_ent为熵正则化项；L_ce为交叉熵损失函数；L_aux为辅助损失函数。

2.一种基于时域注意力池化网络的动画GIF分类装置，其特征在于，所述装置包括：

构建模块，用于构建网络动图数据集，并构建一动画GIF内容分类模型，所述内容分类模型包括：特征提取、时域注意力池化网络与损失层；

获取模块，用于通过所构建的网络动图数据集训练所述内容分类模型，对输出结果使用交叉熵损失评估，为每一帧做分类时加入辅助监督的方式，获取所述内容分类模型的总体损失函数；

动画分类模块，用于基于所述总体损失函数捕捉动图中与内容标签最相关的关键帧，实现动画分类；

所述构建模块包括：特征提取子模块，

用于将第i个GIF样本中的T个帧作为输入，使用二维卷积骨干网络进行处理得到GIF中的各帧的特征映射；

通过空间池化操作减少特征图的空间维数，特征表示形式化地表示为X_i∈R^T×C，其中C是特征通道的数目，X_i为第i个GIF样本中的T个帧的特征表示，R为实数；

所述总体损失函数为：

L＝γ₁L_ce+γ₂L_aux+γ₃L_ent

其中，γ₁，γ₂与γ₃为扩展因子，L_ent为熵正则化项；L_ce为交叉熵损失函数；L_aux为辅助损失函数。

3.一种基于时域注意力池化网络的动画GIF分类装置，其特征在于，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行权利要求1所述的方法步骤。

4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行权利要求1所述的方法步骤。