[发明专利]一种基于时域注意力池化网络的动图分类方法及装置

说明书

本发明公开了一种基于时域注意力池化网络的动画GIF内容分类方法及装置，方法包括：构建网络动图数据集，并构建一动画GIF内容分类模型，所述内容分类模型包括：特征提取模块、时域注意力池化网络与损失层；通过所构建的网络动图数据集训练所述内容分类模型，对输出结果使用交叉熵损失评估，为每一帧做分类时加入辅助监督的方式，获取所述内容分类模型的总体损失函数；基于所述总体损失函数捕捉动图中与内容标签最相关的关键帧，实现动画分类。装置包括：构建模块、获取模块、动画分类模块。本发明减少了无关帧的信息干扰，提高了对动画GIF内容分类的准确性。

技术领域

本发明涉及动图分类领域，包括用于内容分类的动图数据集的构造以及基于时间注意力池化网络的动图分类技术，尤其涉及一种基于时间注意力池化网络的动图分类方法及装置。

背景技术

动画图形交换格式(GIF)是一种图像格式，其具有广泛的兼容性和可移植性。GIF图像格式是在1987年由互联网供应商公司CompuServe创造的。与其他流行的图像格式相反，GIF能够更好地传达各种各样的情感形式，讲故事以及展示动态内容。此外，因为GIF图像中没有声音与长期信息，所以相较于视频GIF图像更轻且便于分散。拥有这些理想的属性，GIF动画格式在社交媒体、广告和在线教育中扮演着越来越重要的角色。

许多现有的关于GIF动图的研究工作主要集中于自然语言的描述，视觉问答(VQA)和情绪识别。目前已经有一些各类任务相对应的动图GIF数据集，例如：用于自然语言描述的Tumblr GIF(TGIF)数据集和Auto-captions on GIF，用于VQA的TGIF-QA(数据集) 以及用于情感识别的GIFGIF+。然而，这些数据集只适用于特定的研究领域。近年来，GIF 动图的情感分类已经成为了一个有趣的研究问题并得到了广泛的应用。Jou,Cai等人提出利用单个帧信息或考虑多个帧信息的图像分类方法来解决该问题。已经有一些研究提出使用3D卷积神经网络来捕获时间视觉情感信息。

现有的研究主要集中在GIF动图的情感分类问题上，其中的语义GIF框架是连贯和一致的，可以提供各类补充信息。与情感分类不同，内容分类是一个更实际的任务，因为互联网上通常会储存大量根据内容分类组织的动图。GIF动图内容分类问题的主要挑战是动图中的某些帧与GIF动图内容标签无关，这可能会大大降低动图内容分类的性能。

因此，如何有效利用动图中的关键帧信息同时减少无关帧的信息干扰对动图内容分类问题是尤为关键的。尽管这项任务的特点不同于其他任务，针对该任务的研究仍然很少，而且对于这样一个重要的问题仍然存在着开放的设计基准和适当的策略。

发明内容

本发明提供了一种基于时域注意力池化网络的动画GIF分类方法及装置，本发明减少了无关帧的信息干扰，提高了对动画GIF内容分类的准确性，详见下文描述：

第一方面，一种基于时域注意力池化网络的动画GIF内容分类方法，所述方法包括：

构建网络动图数据集，并构建一动画GIF内容分类模型，所述内容分类模型包括：特征提取模块、时域注意力池化网络与损失层；

通过所构建的网络动图数据集训练所述内容分类模型，对输出结果使用交叉熵损失评估，为每一帧做分类时加入辅助监督的方式，获取所述内容分类模型的总体损失函数；

基于所述总体损失函数捕捉动图中与内容标签最相关的关键帧，实现动画分类。

在一种实施方式中，所述网络动图数据集为：

动图中大多数的帧与真实的内容标签无关、数据集中包含全面且多样的动图内容、且动图的空间大小和序列长度跨度；数据集中类别存在不平衡性。

在一种实施方式中，所述特征提取模块为：

将第i个GIF样本中的T个帧作为输入，使用二维卷积骨干网络进行处理得到GIF中的各帧的特征映射；