[发明专利]基于多任务学习网络的多模态仇恨模因检测方法

说明书

本发明公开了一种基于多任务学习网络的多模态仇恨模因检测方法，收集若干仇恨模因样本，构建包括多模态主任务和两个单模态辅助任务的多任务学习网络，其中多模态主任务的标签由人工标定，单模态辅助任务的标签基于自监督策略生成。采用仇恨模因样本训练完成多任务学习网络后，将图像处理模块、文本特征提取模块、图像特征提取模块、特征拼接模块、第一特征映射模块和第二特征映射模块组成的子网络作为仇恨模因检测网络。将检测模因图像输入仇恨模因检测网络，得到检测结果。本发明构建并训练基于自监督生成辅助标签的多任务学习网络，从中提取出仇恨模因检测网络，在缩短训练时间和降低算力要求的同时，提高仇恨模因检测的准确率。

技术领域

本发明属于仇恨模因检测技术领域，更为具体地讲，涉及一种基于多任务学习网络的多模态仇恨模因检测方法。

背景技术

模因是一种文化或行为系统的元素，通过模仿或其他非遗传行为从一个人传播到另一个人。模因有多种类型和形式，包括但不限于图像、视频或帖子，其在社交媒体传播中的影响也越来越大。最受欢迎的模因内容形式是图片中含有文字的模因，这也是当前主要研究的模因类型。图1是图片中含有文字的模因示例图。互联网上大量的模因数据构成了一个引人注目的问题。有时，一个普通的句子或图片并没有任何特殊的情感含义，但当它们结合在一起时，就会变得很刻薄。恶意的模因也就因此出现了。有攻击性动机的人利用这种模因攻击弱势人群或针对特定人群，对他们造成情感伤害。仇恨模因在互联网中的泛滥正在成为现代社会中一个日益严重的问题，随着Facebook等社交巨头每天需要删除成千上万的仇恨模因以保护其用户，准确识别仇恨模因已成为一项重要任务。

在互联网巨大规模的数据之下，仇恨模因不能通过人工检查每一个模因数据来解决，所以需要用人工智能来帮助解决检测仇恨模因的问题。检测结合视觉和文本元素的仇恨模因是一个比较新的研究方向。研究者们提出了不同的情感分析模型，仇恨也是一种情感，但仇恨内容并不总是像其他情感那样容易辨别，一些针对特定群体的仇恨攻击是很隐晦的，所以这些模型在此任务上的表现都不是很好。针对仇恨的早期研究更多是单模态仇恨文本检测，即根据性别、国籍或性取向等要素针对个人或群体的仇恨、辱骂或冒犯性的文本进行分类。这些对于仇恨检测的研究很有启发性，不过要想进一步提高检测仇恨模因这种多模态数据的准确率，必须要认识到多模态学习中的问题与挑战。

多模态学习有五个核心挑战：对齐、翻译、特征、融合和共同学习，其中特征学习处于首要位置。而多任务学习可以最大化利用到多模态数据中各个模态的信息，在主任务中学习多模态特征，在辅助学习中学习单模态特征，这种方法会加强模型特征学习的能力。因此本发明设计将多任务学习的方法加入仇恨模因检测之中，且发现并未有人在检测仇恨模因任务中加入过多任务学习的方法。多任务学习中根据特征学习中引导方式的不同，现有的方法可以分为前向引导和反向引导。由于多模态标签信息的统一，前向引导在捕捉模态特定信息方面具有困难。反向引导应用额外的损失函数作为约束条件，引导多模态特征包含一致性和互补性。在多任务网络研究工作中需要引入独立的单模态标注，但是人工标注耗时耗力，给技术方案的实际落地造成较大阻碍。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于多任务学习网络的多模态仇恨模因检测方法，构建并训练基于自监督生成辅助标签的多任务学习网络，从训练好的多任务学习网络中提取出仇恨模因检测网络，在缩短训练时间和降低算力要求的同时，提高仇恨模因检测的准确率。

为了实现上述发明目的，本发明基于多任务学习网络的多模态仇恨模因检测方法包括以下步骤：

S1：收集若干仇恨模因样本，每个仇恨模因样本中的模因图像为带有文本的图像，为每幅图像标注仇恨模因标签，当标签为1则表示该模因图像中存在仇恨，当标签为0则表示该模因图像中不存在仇恨；

S2：构建多任务学习网络，包括模因图像预处理模块、文本特征提取模块、图像特征提取模块、特征拼接模块、第一特征映射模块、第二特征映射模块、第三特征映射模块、第四特征映射模块、文本单模态标签生成模块、第五特征映射模块、第六特征映射模块和图像单模态标签生成模块，其中：