[发明专利]一种基于深度学习的网络新闻配图匹配性检测方法

摘要

本发明提供一种基于深度学习的网络新闻配图匹配性检测方法，该方法包括基于深度学习的新闻配图多描述生成；以及生成新闻配图描述的文字内容与新闻文字内容进行对比评分；对于生成新闻配图描述部分，采用卷积神经网络对新闻配图特征的提取，然后利用自然语言模型生成新闻配图的相关描述；对于评分体系部分，由于生成的图片描述和新闻文字内容长度和表达方式上的差异性，本发明提出解决方案，与改进的BLEU算法形成评分体系。评分体系对生成的图片描述和新闻文字内容进行对比评分，通过评分来判断图片与新闻内容是否相符。因此，可以更快速、更准确地发现图文不符的虚假信息，减少人工审核的时间，节省人力物力，净化网络环境。

主权项

1.一种基于深度学习的网络新闻配图匹配性检测方法，其特征在于，包括如下步骤：/n步骤1，提取新闻网页上的配图与文字内容，将提取的文字内容形成规范文档，规范文档指的是符合语言规范的单句；/n步骤2，将提取的图片输入到神经网络模型中，对图片进行物体识别和场景识别，然后利用自然语言模型对图片中所有物体和场景生成若干相应的描述；/n步骤3，利用BLEU算法将生成的图片的多描述与新闻的文字内容进行比对，从而判断是否图片与新闻内容匹配；/n其中，所述神经网络模型包括一个卷积神经网络，一个密集定位层，一个识别网络层以及一个自然语言模型，其物体识别和场景识别过程如下：/n步骤2.1，将提取的图片输入到卷积神经网络进行特征提取并生成特征矩阵；/n步骤2.2，将卷积神经网络提取的特征矩阵再输入到密集定位层基于多目标识别技术对图片中的区域进行识别预测，生成初步的识别区域称为候选区域，数量为B；/n步骤2.3，将候选区域传输到识别网络层，使用RELU激活函数和Dropout优化原则，将来自密集定位层的每个候选区域的特征变换为一个向量，并将其传送至识别网络的两个全连接层，对每一个候选区域生成一个长度为D＝4096的一维向量，将所有一维向量存储起来，最终生成B个长度为D的一维向量，组合形成一个B×D形状的矩阵；/n步骤2.4，将得到的矩阵输入到基于LSTM的语言模型中，最终生成关于图片每一部分的具体描述；/n所述BLEU算法中，采用词频的对比方法，计算生成的配图描述的文字内容与新闻的文字内容的对比评分，高于设定阈值即为图文匹配，低于设定阈值即为图文不匹配，所述对比评分的步骤如下：/n步骤3.1，进行拆分单句比对，获取BLEU得分/n1)计算各阶n-gram的精度/n首先计算各阶n-gram在原文中可能出现的最大次数Count