[发明专利]基于新闻内容语义分析的多媒体智能配图方法

权利要求书

1.一种基于新闻内容语义分析的多媒体智能配图方法，其特征在于包括如下步骤：

S1：提取已有配图新闻的标题，并利用分类器对标题自动进行分类；

S2：根据S1的分类结果，将已有配图新闻的图片进行归类，并由对应的标题生成对已有配图新闻的图片的第一文字描述，然后对所述第一文字描述进行向量化处理，得到第一向量α；

S3：读取未配图新闻的标题和内容，并根据S1的分类结果对未配图新闻的标题进行归类，并根据未配图新闻的标题或内容生成对未配图新闻的第二文字描述，然后对所述第二文字描述进行向量化处理，得到第二向量β；

S4：根据所述第一向量α和所述第二向量β及所述第一文字描述与所述未配图新闻标题或内容相同词的词频确定所述第一文字描述和第二文字描述的匹配度，并根据所述匹配度选出若干张已有配图新闻的图片作为备选图片；

S5：构建背景图片库和风格图片库，将所述备选图片接入语义分割网络，利用输出语义分割结果的掩膜进行基于语义分割的背景切换，得到背景更新图片；

S6：对背景更新图片进行风格迁移和平滑处理。

2.如权利要求1所述的基于新闻内容语义分析的多媒体智能配图方法，其特征在于，所述S1中分类时分为两类，一类为固定模式配图，一类为可变模式配图。

3.如权利要求1所述的基于新闻内容语义分析的多媒体智能配图方法，其特征在于，所述S2中按如下方法生成对所述已有配图新闻的图片的第一文字描述：将所述已配图新闻的标题作为所述已配图新闻的图片的初始描述，对于所述已配图新闻的图片相同的所述已配图新闻的标题，取所述已配图新闻的标题的并集作为所述已配图新闻的图片初始描述；根据图片分类结果，对所述已配图新闻的图片的初始描述进行内容提取，生成对所述已有配图新闻的图片的第一文字描述。

4.如权利要求2所述的基于新闻内容语义分析的多媒体智能配图方法，其特征在于，在所述S3中按如下方法生成对未配图新闻的第二文字描述：若为固定模式配图则使用新闻标题作为所述未配图新闻的初始描述；若为可变模式则使用textrank算法对所述未配图新闻进行摘要提取，同时与所述未配图新闻的标题取并集作为所述未配图新闻的初始描述；然后对所述未配图新闻的初始描述进行内容提取，生成对所述未配图新闻的第二文字描述。

5.如权利要求1所述的基于新闻内容语义分析的多媒体智能配图方法，其特征在于，在所述S2中，对所述第一文字描述使用预训练bert模型进行向量化得到所述第一向量α，在所述S3中对所述第二文字描述使用预训练bert模型进行向量化得到所述第二向量β，计算所述第一向量α和第二向量β的余弦距离：

再计算所述第一文字描述和第二文字描述相同词的匹配次数：

matches(a，b)＝match(a，b)/max_match

其中a为从所述第一文字描述中提取的词，b为从所述第二文字描述提取的词，matches(a，b)为a,b中形同词的匹配次数，max_match为所有matches(a，b)中的最大值；

再计算所述已配图新闻的图片与所述未配图新闻的匹配度：

l＝matches(a，b)-k*dis(α，β)；

其中k为系统预设的超参数；

选择所有所述已配图新闻的图片与所述未配图新闻的匹配度中最大值预设区间内的若干张图片作为备选图片。

6.如权利要求1所述的基于新闻内容语义分析的多媒体智能配图方法，其特征在于，所述S5中，将所述背景库的图片与所述备选图片通过双线性插值的方式放缩至统一尺寸，再对固定背景语义的部分进行切换。

7.如权利要求1所述的基于新闻内容语义分析的多媒体智能配图方法，其特征在于，按如下操作进行所述风格迁移和平滑处理：

训练一个以图像重构为损失函数的自动编码器，将使用自动编码器提取到的特征送入WCT算子进行变换，然后进行解码还原为相应的RGB空间图片；使用gram矩阵定义相似像素的相似风格，然后将风格差异结合像素的相似性矩阵定义出一个目标损失函数，通过优化目标损失最小得到风格统一的图片。