[发明专利]基于深度学习与语义信息的重定位图像质量评价方法

摘要

本发明涉及一种基于深度学习与语义信息的重定位图像质量评价方法，包括以下步骤：第一步：几何变化类特征提取，用以描述重定位图的基本物理结构信息失真。第二步：语义信息类特征提取；第三步：采用两分支的子自编码机对第一步和第二步中的两类特征分别进行处理，依据带有标签的重定位图像库，选择监督学习的方式对以上两个自编码机模型进行训练，从而得到最终的深度回归网络模型。第四步：在测试阶段，对于任意无标签的重定位图像，两个不同的自编码机模型将会被使用来得到两个不同的分数，以上面两个分数作为基准，采用加权的方式对分数进行融合，以得到重定位图像I₂的评价结果。

主权项

1.一种基于深度学习与语义信息的重定位图像质量评价方法，设参考图像为I1，重定位图像为I2，包括以下步骤：第一步：几何变化类特征提取：1)在重定位图像I2中提取59维的局部二值模型(LBP)特征，F1＝[f1,f2,f3,...,fn],n＝59；2)计算重定位图像I2的两个维度下的梯度GM图，记为GI1和GI2，对于梯度图GI1分别计算16维AGGD拟合系数、2维GGD拟合系数、幅值、方差以及熵，此21维的梯度特征记为F2＝[f1,f2,f3,...,fn],n＝21；梯度图GI2中的计算方法同上，得出特征F3＝[f1,f2,f3,...,fn],n＝21；3)对重定位图像I2进行DoG计算分析，设置5个尺度，得到10维GGD拟合系数、5维幅值特征、5维方差特征和5维熵系数特征，最终形成特征向量F4＝[f1,f2,f3,...,fn],n＝25；4)依据SIFT算子，对I1和I2进行匹配数据，基于图像对差异的128维SIFT算子特征可以被分为8组，用以形成16维的特征描述，F5＝[f1,f2,f3,...,fn],n＝16；此步骤共得到LBP、GM、DoG和SIFT特征142维[F1,F2,F3,F4]，用以描述重定位图的基本物理结构信息失真；第二步：语义信息类特征提取：1)基于LSPBC的编码方式，图像256bits的编码信息以8为单位进行分割，从而形成了64维的LSPBC码作为初步的语义特征，F6＝[f1,f2,f3,...,fn],n＝64；2)利用空间语义特征提取方式(SpatialEnvelope)，对重定位图像I2进行计算，得到512个参数，使用二参数拟合的方式将它们分成16组，此64维的空间信息特征被提取，记为F7＝[f1,f2,f3,...,fn],n＝64；第三步：采用两分支的子自编码机对第一步和第二步中的两类特征分别进行处理，其中，面向第一步中几何变化的深度模型可以被命名为GSAE，其单元结构为142‑64‑16，同时，面向第二步中语义信息的深度模型可以被命名为CSAE，其单元结构为128‑58‑16，依据带有标签的重定位图像库，选择监督学习的方式对以上两个自编码机模型进行训练，从而得到最终的深度回归网络模型；第四步：在测试阶段，对于任意无标签的重定位图像，两个不同的自编码机模型将会被使用来得到两个不同的分数qGS和qCM，以上面两个分数作为基准，采用加权的方式对分数进行融合，以得到重定位图像I2的评价结果QIRQA：QIRQA＝(qGS)ω·(qCM)1‑ω其中的参数设定为ω＝0.423。