[发明专利]一种基于显著性检测的智能图文排版方法

说明书

本发明公开了一种基于显著性检测的智能图文排版方法，其特点是该方法首先读入用户指定的一张背景图像和文本，接着通过卷积神经网络生成背景图像的显著图，并根据扩散方程迭代求得文本位置概率图，然后利用文本位置概率图计算出一系列文本候选框，最后通过美学评分网络对这些候选框进行评分，找出最优文本框位置，得到最终图文排版结果。本发明与现有技术相比具有较高的计算效率和良好的视觉效果，能够在多种实际应用场景中生成和谐的图文排版结果，更准确识别用户感兴趣的视觉主体区域。

技术领域

本发明涉及图文排版技术领域，尤其是一种基于图像内容分析和显著性检测的智能图文排版方法。

背景技术

在视觉设计领域，设计人员经常投入大量的时间来满足一定的重复性要求，尤其是图文排版的工作非常繁琐，而缺乏经验的设计师也很难做出更高层次的创意设计。

目前，图文排版主要采用规则驱动和数据驱动的方法。规则驱动的方法主要包括自定义美学规则、用户指定约束、设计布局模板等，其中自定义美学规则的方法需要定义空间布局、语义风格、字体风格和大小、颜色模型等大量参数，调参的工作较为繁琐；用户指定约束的方法需要使用者具有较高的审美素质；设计布局模板需要大量领域专家的先验知识。随着人工智能领域的发展，图文排版逐渐开始使用数据驱动的深度学习方法，如有学者使用生成对抗网络GAN来自动生成和谐的图文布局，也有研究者利用神经网络对图文设计作品进行打分，从而在搜索空间内找出最佳的图文排版结果。数据驱动的方法需要大量的标注数据，但在视觉设计领域收集和标记高质量的数据是较为困难的。

发明内容

本发明的目的是针对现有技术的不足而设计的一种基于显著性检测的智能图文排版方法，采用训练的卷积神经网络，将其应用到所输入的背景图像和待排版文本中，生成背景图像的显著图，并根据扩散方程迭代求得文本位置概率图，利用文本位置概率图得到一系列文本候选框，通过美学评分，找出最优文本框位置，得到最终图文排版结果，方法简便，具有较高的计算效率和良好的视觉效果，能够在多种实际应用场景中生成和谐的图文排版结果。

本发明的目的是这样实现的：一种基于显著性检测的智能图文排版方法，其特点是该图文的智能排版具体包括以下步骤：

a步骤：输入1张大小为n*m的背景图像I，所述图像I为n*m的像素值矩阵，其中，n为图像I纵向每列像素数，m为图像I横向每行像素数；输入待排版文本T，共有p行文本，每行文本长度分别为q₁,q₂,...,q_p，最大文本长度q_max＝max{q₁,q₂,...,q_p}，1≤p≤5,1≤q_max≤25。

b步骤：在显著性检测数据集上训练一个全卷积神经网络模型，该全卷积神经网络为FCN神经网络模型，所述FCN神经网络包括16层卷积层和一个归一化指数模型即softmax模型的输出层，线性整流函数(即ReLU函数作为激活函数)，全卷积神经网络模型的具体训练包括下述步骤：

b-1步骤：FCN全卷积神经网络模型包括多组用于提取图像显著性特征的卷积层，每个卷积核都使用3×3的大小，然后为批量归一化和ReLU激活函数；在每3次卷积之后将特征图下采样2倍，进行最大化池化处理；

b-2步骤：使用转置卷积将在不同比例学习的特征图上采样到原始分辨率，然后将所有多尺度的特征图按照权重进行相加连接；最后三个内核大小为1×1的卷积层，以及softmax函数，用于预测显著图，经过3次卷积后利用softmax函数得到所有像素点的预测结果。

c步骤：将b步骤中的FCN神经网络模型应用到a步骤所输入的图像I，从中检索到显著性特征后从FCN神经网络中的softmax层输出显著度值；输出的显著度图表示为S(I)，即为一个表示每个像素点的显著度值的矩阵。