[发明专利]一种基于泛函映射的多模态图像分割方法

摘要

本发明涉及基于泛函映射的多模态图像分割方法。本发明对包含目标的图像集合做如下操作1）将图像分割成超像素块，并用不同的特征描述子表征，获得多模态图像表示；2）在多模态图像上建立超像素图，构建相应的拉普拉斯矩阵；3）表征每幅图像的约减泛函空间，建立图像对之间的泛函映射；4）将每种模态的图像泛函映射与图像线索对齐，引入隐函数保持泛函映射之间的一致性；5）依据多模态映射一致性获得泛函映射表达，通过联合优化目标函数计算图像对应的分割函数，得到图像的最优分割表示。本发明能够利用图像不同模态的特征表示以及图像之间共有的目标潜在关联，准确判定图像的各目标区域块，增强了图像分割的性能和效果。

主权项

一种基于泛函映射的多模态图像分割方法，其特征在于对包含目标的图像集合，进行如下操作：1)将集合中的各图像分割成超像素块，用不同的特征描述子表征分割后的超像素以获得多模态图像表示；2)在多模态图像上建立基于超像素的图，并构建相应的拉普拉斯矩阵；3)表征每幅图像的约减泛函空间，建立图像对之间的泛函映射；4)将每种模态的图像泛函映射与图像线索对齐，并引入隐函数保持泛函映射之间的一致性；5)依据多模态映射一致性获得泛函映射表达，通过联合优化目标函数计算图像对应的分割函数，得到图像最优分割表示，完成图像分割；所述的步骤1)中的将集合中的各图像分割成超像素块，用不同的特征描述子表征分割后的超像素以获得多模态图像表示，具体是：1.1)设集合由n幅相关联的图像组成，记为每幅图像含有一个或多个目标类，整个集合的目标类别数目为C；1.2)将图像中的像素看做图的顶点，利用图分割方法将集合中的图像划分为q个小区域，q为正整数，这些小区域由取值相近的像素点构成，称之为超像素，第i幅图像中属于第c类的分割块表示为Sic，其中i＝{1,2,…,n}，c＝{1,2,…,C}；1.3)利用m种不同的特征描述子，表征图像中的各超像素，从而获得多方位反映图像本征信息的多模态特征表示，设第i幅图像对应矩阵集合即第k种图像特征描述子对应第k种模态所述的步骤2)中的在多模态图像上建立基于超像素的图，并构建相应的拉普拉斯矩阵，具体是：2.1)将每种图像模态上的q个超像素看做图的顶点，构建相应顶点全连接而成的超像素图；2.2)分别在各不同模态的超像素图上构建拉普拉斯矩阵它们通过高斯加权策略计算的权重矩阵W获得，即L＝D‑W，其中D是一对角阵，其对角线元素为W的各列元素和；所述的步骤3)中的表征每幅图像的约减泛函空间，建立图像对之间的泛函映射，具体是：3.1)计算多模态图像的拉普拉斯矩阵的特征值和特征向量，并取前p个特征向量张成约减泛函空间且每幅图像的各模态上对应的特征值分别组成对角矩阵其中p<q；3.2)设每幅图像分割函数为foi对应Sic，该函数的搜索空间对应一组基向量所张成的p维空间且foi对第i幅图像的系数表示为线性函数组合其中Bi为拉普拉斯矩阵前p个特征向量构成；3.3)通过线性泛函映射反映任意两两成对图像之间的关系，从第i幅图像的子空间到第j幅图像的子空间的泛函映射用矩阵表示，即子空间中的函数映射到子空间中的表达值可由计算Rijf得到；所述的步骤4)中的将每种模态的图像泛函映射与图像线索对齐，并引入隐函数保持泛函映射之间的一致性，具体是：4.1)图像线索对应不同的描述算子，每种模态的图像泛函映射与图像线索对齐通过优化以下表达式实现，即minRijH(Rij)=Σk=1m||RijXik-Xjk||1+α||RijΛik-ΛjkRij||F2+β||Rij||1,]]>其中，常数α>0，β>0，符号||·||1表示矩阵的L1范数，符号||·||F表示矩阵的Frobenius范数；4.2)引入的隐函数由输入图像共享，且通过泛函映射一致项使得泛函映射能有效关联每幅图像上对应的隐函数，而每个隐函数仅出现在图像的某个子集中，且第i幅图像对应的隐函数zi＝[zi1，zi2，…，zil]∈{0，1}表征隐函数与图像之间的关系，而连续变量Φi＝[φi1,φi2,…,φil]对图像上的各隐函数进行描述；上一步中的泛函映射一致项表示为Q(Rij,Φi,zi)=γΣ(i,j)∈E||RijΦi-Φjdiag(zi)||22+λΣi=1n||Φi-Φidiag(zi)||22,]]>其中，常数γ>0，λ>0，符号||·||2表示矩阵的L2范数，diag(zi)表示一对角矩阵，(i,j)∈Ε表示图像对的近邻集合；所述的步骤5)中的依据多模态映射一致性获得泛函映射表达，通过联合优化目标函数计算每幅图对应的分割函数，具体是：5.1)依据步骤4)中已建立的多模态映射一致性关系计算泛函映射表达，即minRij,Φi,ziΣ(i,j)∈EH(Rij)+Q(Rij,Φi,zi),]]>其中，变量Φi与Φj之间存在正交约束，这里采用变量交替优化方法进行求解，即固定其他两个变量优化剩余的一个变量，变量zi初始化为全1向量，通过多次迭代直至函数收敛，可计算得到最优的泛函映射表达Rij；5.2)以图像样本为图上的顶点，两顶点之间的权重记为则图像分割函数的联合优化目标表达式为其中，常数ζ>0，c＝{1，2，…，C}，符号(·)T表示向量或矩阵的转置，子空间Bik由第i幅图像对应第k种模态上超像素图拉普拉斯矩阵的前p个特征向量张成，且不同类别的分割函数fic满足互斥约束；5.3)通过求解5.2)中目标函数的最优解，可得到第i幅图像的最优分割函数据此可以确定图像中属于第c个目标类别的最优分割块表示为