[发明专利]支持多样图的快速艺术风格学习方法

摘要

一种支持多样图的艺术风格学习方法，输入为一组或一张艺术样图、一张控制图和一张目标图像B，输出为和样图具有相似风格的艺术图B’，包括用户从艺术样图中选取出最能代表其风格特征的样图风格块Ti(i＝1,2,...,nexem)，nexem为样图风格块的个数。将Ti转化到YIQ空间，选取Y通道值作为特征；计算B图的边缘切向流场directionB；根据B图的大小sizeB，生成Ti的高斯金字塔生成B’的坐标金字塔S＝(S0,...,Sx,...,SL),x∈[0,L]，L＝log2(sizeB)，表示样图风格块Ti高斯金字塔第x层的图像，Sx表示坐标金字塔第x层的图像；读入控制图，设定初始层initl；从最粗糙层initl开始，对B’的坐标金字塔从粗糙层Sinitl到最精细层SL中的每一层Sl循环执行旋转矩阵计算、超采样、校正步骤，直到达到最精细层停止执行亮度重映射，计算得到B’。

主权项

支持多样图的艺术风格学习方法，输入为一组或一张艺术样图、一张控制图和一张目标图像B，输出为和样图具有相似风格的艺术图B’，包括如下步骤：步骤1：用户从艺术样图中选取出最能代表其风格特征的样图风格块Ti(i＝1,2,...,nexem)，nexem为样图风格块的个数；将Ti转化到YIQ空间，选取Y通道值作为特征；步骤2：计算B图的边缘切向流场directionB；所述步骤2中，为了使生成的艺术图像具有样图的笔刷风格，需要构造一个目标图像B的光滑连贯的方向场，指导图像合成；计算B图的边缘切向流场作为它的方向场，对B图的每个像素点都赋予了一个方向；边缘切向流场不但光滑连贯而且保持了重要特征；其中t(p)表示计算得到的p点处的边缘切向流场，t(p)x和t(p)y分别表示边缘切向流场在x和y轴方向上的偏移，则该像素点的方向为θ＝arctan(‑t(p)x/t(p)y)；步骤3：生成Ti的高斯金字塔x∈[0,L]；根据B图的大小sizeB，生成B’的坐标金字塔S＝(S0,...,Sx,...,SL),x∈[0,L]，L＝log2(sizeB)表示金字塔的层数，表示样图风格块Ti的高斯金字塔第x层的图像，Sx表示坐标金字塔S第x层的图像；所述步骤3中，Ti的高斯金字塔为x∈[0,L]，其中表示高斯金字塔的最模糊层，表示高斯金字塔的最精细层；坐标金字塔S的最精细层SL的大小与B图一样，SL的初始值都赋为0；对SL执行下采样得到坐标金字塔的每一层S＝(S0,...,Sx,...,SL),x∈[0,L]，S0为最粗糙层；Sx(p)表示坐标金字塔第x层像素点p的值，它包含了两个值(pu,pi)，其中pu是一个二维坐标，表示像素点在图像横向和纵向上的取值，pi为样图索引，Sx(p)＝(pu,pi)表明p点的值和Ti中的pu点一样；步骤4：读入控制图，设定初始层initl；所述步骤4中，读入的控制图是一张灰度图，每个像素点的值idx指示了该点学习第idx个样图风格块的特征；根据控制图指定初始层initl，满足Sinitl的大小和控制图一样；根据控制图的值，对Sinitl的像素点赋值；其中Sinitl(p)中pu的取值为随机取得，大小不超过控制图的长度和宽度，pi被赋为idx，表示该像素点的风格取自于第idx个样图风格块；步骤5：从最粗糙层initl开始，对B’的坐标金字塔从粗糙层Sinitl到最精细层SL中的每一层Sl循环执行如下步骤，直到达到最精细层停止：步骤5.1：读取B图的流场directionB，计算每个点的旋转矩阵；所述步骤5.1中，根据B图的流场directionB计算每个点的旋转矩阵，在步骤2中计算得到每个像素点p的方向为θ，旋转矩阵R的每个像素点计算如下：R(p)=1001cos(θ)-sin(θ)sin(θ)cos(θ)]]>旋转矩阵主要用于在校正步骤中旋转样图和合成图的邻域，使合成结果的纹元按目标图像的流场方向变化；步骤5.2：上采样(upsample)Sl得到Sl+1；所述步骤5.2中，对较粗糙层Sl‑1执行上采样步骤得到一个分辨率更高的较精细层Sl；上采样只对图像坐标pu进行，将父层次Sl‑1中每个点根据旋转矩阵R和偏移量Δ进行旋转偏移，保证从粗糙层到精致层过渡时方向场的连贯性；但保持样本索引pi不变，从而保证上采样后点的特征取自同一张样图的更精细层；因此Sl层每个像素值，其pi值与Sl‑1层相同，pu值由Sl‑1层的像素值加上相应的偏移量得到；公式如下所示： Sl[pi]＝Sl‑1[pi]Sl[2*pu+Δ]=2*Sl-1[pu]+Δ*R(pu)Δ∈{00,01,10,11}]]>步骤5.3：校正(correction)Sl+1；所述步骤5.3中，为了对结果图像的每个点S(p)赋予最适合的值，需要执行校正步骤，根据目标图像像素点的方向在风格样图中找到邻域最相似的点；定义如下同时考虑灰度和方向信息的距离度量准则distance(·)，来衡量待合成像素和候选像素的相似程度；distance(NSl(p),NTl(q),NBl(p))=(1-w)*||NSl(p)-NBl(p)||2+w*||NSl(p)-NTl(q)||2]]>其中p为待合成图Sl中一点，q为样图Tl中的一个候选点，分别表示待合成图、样图、目标图像第l层点的邻域；||||2为L2距离，w为权值；距离度量的第一项定义了样图风格块与目标图像之间的颜色差值，第二项定义了样图风格块与合成图的方向差值；若样图中具有明显的方向特征，取w＝0.8；由于要沿着目标图像的流场放置合成结果的笔刷，因此在邻域匹配时要同时对样图邻域和合成图邻域按流场方向旋转；旋转后待合成点p的邻域计算如下：其中n为邻域窗口的大小，N表示大小为n×n窗口内所有像素点的集合；(pu,pi)为邻域窗口内的点；是经过标准化处理的旋转逆矩阵和邻域偏移量的乘积，表示pu坐标点的8个最近邻；为样图中的坐标值，从而预测的合成点的坐标为最后加上样图邻域空间的偏移量Δ；样图中候选点q的邻域计算如下：NTl(q)=ΣTlpi_candi(pu_candi+Δ),||Δ||≤n]]>其中pu_candi和pi_candi为候选点在样本中的坐标和样图索引；candi(p)＝{pu_candi,pi_candi}表示候选点集合；为了加快邻域搜索过程，不对样图中的所有邻域执行搜索，只在待合成p点的k‑coherence候选集candi(p)中进行搜索；通过采用k‑coherence方法计算得到候选集candi(p)，计算公式如下：candi(p)={Clpi(Sl[pu+Δ])-R(pu)Δ|||Δ||≤1}]]>其中表示一个集合，存放的是对的第l层全搜索得到的k个与α最相似的点，然后减去旋转矩阵R旋转的偏移，得到候选点；计算目标图像邻域时，无需旋转邻域，只需在Bl图中取p点的方形邻域即可；在计算得到后，根据距离度量distance(·)在候选集candi(p)中找出与待合成点距离最小的qmin点作为合成结果，并将qmin的坐标和样图索引赋值给Sl(p)；qmin=argminq∈candi(p){distance(NSl(p),NTl(q),NBl(q))}]]>步骤6：执行亮度重映射，计算得到B’；所述步骤6中，根据合成最精细层SL中存储的样图索引对目标图像执行亮度重映射，使得目标图和样图风格块的统计特性基本一致；首先根据SL(pu)的值及样图风格块的亮度值(Y通道值)，还原得到B’图p点的亮度值B’Y(p)；然后根据相应的样图风格块的颜色均值和方差，对B’Y(p)执行亮度重映射；BY,(p)=Tpi(SL(pu))]]>其中为风格块的亮度平均值，和σB为样图风格块和B图的亮度方差值，BY(p)为B图p点处的亮度值；最后将B’的亮度值B’Y(p)与B图中IQ通道的值BI(p)和BQ(p)相融合，将图像从YIQ空间转化到RGB空间，计算得到B’图RGB三个通道的值：B’R(p)＝B’Y(p)+0.956*BI(p)+0.620*BQ(p)B’G(p)＝B’Y(p)‑0.272*BI(p)‑0.647*BQ(p)B’B(p)＝B’Y(p)‑1.108*BI(p)+1.705*BQ(p)最终得到的艺术风格图B’同时具有B的颜色特征和样图的画笔风格特征。