[发明专利]基于新闻内容语义分析的多媒体智能配图方法

说明书

本发明公开了一种基于新闻内容语义分析的多媒体智能配图方法，包括如下步骤：S1提取已有配图新闻的标题并分类；S2根据S1分类结果，将已有配图新闻的图片进行归类，并得到第一向量α；S3读取未配图新闻的标题和内容并得到第二向量β；S4根据α和β及词频和描述等来确定匹配度，根据匹配度选出备选图片；S5构建背景图片库和风格图片库，将备选图片接入语义分割网络，处理后得到背景更新图片；S6对背景更新图片进行风格迁移和平滑处理。该方法能够实现新闻配图的自动匹配、场景变化及风格迁移，提升智能配图的新闻关联性，节省人力的同时也对图片库进行扩充，保证图片来源的合法性并在一定程度上解决了配图库单调的问题。

技术领域

本发明属于自然语言处理、信息检索和图像生成技术结合领域，具体涉及一种基于新闻内容语义分析的多媒体智能配图方法。

背景技术

近年来，人工智能技术与互联网新媒体的结合越来越紧密，显著提升了新闻生产和推送的效率。例如，在新闻配图领域，传统新闻配图大多需要编辑在图库中进行人工选择，费时费力；而通过深度学习的方法可以对图片及新闻内容进行语义特征描述，通过语义特征匹配的方法实现自动化配图，这极大提高了配图效率。但是，随着社会整体对图片版权保护意识的提升，新闻配图不仅要考虑图片与新闻内容的契合度，还要提升所用图片版权的法律安全性，这首先要求图片库素材来源的合法性，同时，在配图后还要考虑图文整体的协调性和风格的统一性。目前现有的配图方法主要关注的是图片内容和新闻内容的一致性，未能很好地解决图片来源的法律安全性问题。此外，通过深度学习的方法进行配图也常存在图片与新闻内容的匹配度不高、风格不够协调等问题。

发明内容

本发明的目的是提出了一种基于新闻内容语义分析的多媒体智能配图方法，该方法采用已有配图新闻图片作为素材，自动进行图片分类及图片描述，实现新闻配图的自动匹配、场景变化及风格迁移，提升智能配图的新闻关联性，在不改变原始配图准则情况下，进行媒体新闻自动化配图，在节省人力的同时也对图片库进行扩充，保证图片来源的合法性并在一定程度上解决了配图库单调的问题。

为解决上述技术问题，本发明的具体如下技术方案：

一种基于新闻内容语义分析的多媒体智能配图方法，包括如下步骤：

S1：提取已有配图新闻的标题，并利用分类器对标题自动进行分类；

S2：根据S1的分类结果，将已有配图新闻的图片进行归类，并由对应的标题生成对已有配图新闻的图片的第一文字描述，然后对所述第一文字描述进行向量化处理，得到第一向量α；

S3：读取未配图新闻的标题和内容，并根据S1的分类结果对未配图新闻的标题进行归类，并根据未配图新闻的标题或内容生成对未配图新闻的第二文字描述，然后对所述第二文字描述进行向量化处理，得到第二向量β；

S4：根据所述第一向量α和所述第二向量β及所述第一文字描述与所述未配图新闻标题或内容相同词的词频确定所述第一文字描述和第二文字描述的匹配度，并根据所述匹配度选出若干张已有配图新闻的图片作为备选图片；

S5：构建背景图片库和风格图片库，将所述备选图片接入语义分割网络，利用输出语义分割结果的掩膜进行基于语义分割的背景切换，得到背景更新图片；

S6：对背景更新图片进行风格迁移和平滑处理。

优选的，所述S1中分类时分为两类，一类为固定模式配图，一类为可变模式配图。

优选的，所述S2中按如下方法生成对所述已有配图新闻的图片的第一文字描述：将所述已配图新闻的标题作为所述已配图新闻的图片的初始描述，对于所述已配图新闻的图片相同的所述已配图新闻的标题，取所述已配图新闻的标题的并集作为所述已配图新闻的图片初始描述；根据图片分类结果，对所述已配图新闻的图片的初始描述进行内容提取，生成对所述已有配图新闻的图片的第一文字描述。