[发明专利]细粒度的多模态虚假新闻检测方法

权利要求书

1.一种细粒度的多模态虚假新闻检测方法，其特征在于：

获取待检测多模态新闻的新闻文本和新闻图片；

从新闻文本中提取人物类型、地点类型和事件类型的文本实体；

从新闻图片中提取图片文本，人物类型、地点类型和事件类型的视觉实体，以及新闻图片的视觉CNN特征，其中新闻图片的视觉CNN特征包括分区域从该新闻图片中提取出的视觉特征；

使用BERT模型获取人物类型、地点类型和事件类型视觉实体的视觉实体特征；

将新闻文本与图片文本拼接后输入BERT模型，获得文本特征；

利用多模态协同注意力Transformer模型融合文本特征、视觉CNN特征和视觉实体特征，获得由视觉实体和视觉CNN特征增强的文本表示、由文本增强的视觉CNN表示和由文本增强的视觉实体表示；

基于文本实体和视觉实体的特征向量计算跨模态的人物相似度、地点相似度和事件相似度；

基于视觉实体和视觉CNN特征增强的文本表示、文本增强的视觉CNN表示和文本增强的视觉实体表示，以及跨模态的人物相似度、地点相似度和事件相似度计算所述多模态新闻的多模态表示；

基于多模态新闻的多模态表示判断该多模态新闻的真实性。

2.根据权利要求1所述的细粒度的多模态虚假新闻检测方法，其特征在于，所述利用多模态协同注意力Transformer模型融合文本特征、视觉CNN特征和视觉实体特征，获得由视觉实体和视觉CNN特征增强的文本表示、由文本增强的视觉CNN表示和由文本增强的视觉实体表示，包括：

将文本特征和视觉实体特征输入文本视觉实体协同注意力Transformer模型，获得由视觉实体增强的文本表示和由文本增强的视觉实体表示；

将视觉实体增强的文本表示和视觉CNN特征输入文本视觉特征协同注意力Transformer模型，获得由视觉实体和视觉CNN特征增强的文本表示和由文本增强的视觉CNN表示。

3.根据权利要求1所述的细粒度的多模态虚假新闻检测方法，其特征在于，所述从新闻图片中提取新闻图片的视觉CNN特征，包括：

将新闻图片输入VGG19模型，将原始图片分割为m*m的区域，从VGG19模型的最后一层提取图片的视觉CNN特征，视觉CNN特征包括该新闻图片m*m个图片区域的视觉特征。

4.根据权利要求1所述的细粒度的多模态虚假新闻检测方法，其特征在于，所述从新闻图片中提取人物类型、地点类型和事件类型的视觉实体，包括：

利用名人检测模型识别图片中的名人，作为人物类型的视觉实体；

利用预训练的地标检测模型识别图片中的地标，作为地点类型的视觉实体；

通过特殊符号及服饰检测模型识别图片中的组织机构名，通过预训练的图像识别模型识别有冲击力的视觉概念及通用的目标及场景标签，作为事件类型的视觉实体。

5.根据权利要求1所述的细粒度的多模态虚假新闻检测方法，其特征在于，基于文本实体和视觉实体的特征向量计算跨模态的人物相似度，包括：

其中，为跨模态的人物相似度；t和v分别为文本实体和视觉实体的特征向量；T_p为多模态新闻中文本人物实体集合；V_p为多模态新闻中视觉人物实体集合；ρ(v)表示新闻图片包含视觉人物实体v的概率。