[发明专利]基于深度学习与语义信息的重定位图像质量评价方法

说明书

本发明涉及一种基于深度学习与语义信息的重定位图像质量评价方法，包括以下步骤：第一步：几何变化类特征提取，用以描述重定位图的基本物理结构信息失真。第二步：语义信息类特征提取；第三步：采用两分支的子自编码机对第一步和第二步中的两类特征分别进行处理，依据带有标签的重定位图像库，选择监督学习的方式对以上两个自编码机模型进行训练，从而得到最终的深度回归网络模型。第四步：在测试阶段，对于任意无标签的重定位图像，两个不同的自编码机模型将会被使用来得到两个不同的分数，以上面两个分数作为基准，采用加权的方式对分数进行融合，以得到重定位图像I₂的评价结果。

技术领域

本发明属图像处理领域，涉及重定位图像质量评价方法。

背景技术

在日益多样的多媒体显示设备中，其播放分辨率也各不相同，源图像的横纵比需要被改变，以适配新的播放形式，这可以被定义为图像重定位技术。近几年，迅速发展的移动式显示设备(如手机和平板电脑)对图像尺寸压缩与拉伸提出了新的要求。基于这种需求，多种图像重定位算法被提出。然而，如何评价重定位图像是否满足播放需求是一个非常关键的问题，图像重定位算法实施过程中产生的图像几何失真与语义变化都严重影响着用户体验效果。因此，研究一种有效的重定位图像质量评价方法是非常重要的。通常，质量评价方法可以分为主观和客观两种。在很多实际应用系统中，主观评测的方式是难以被大规模应用的，所以客观准确的重定位质量评价方法是解决此问题的唯一方法。

传统的普通图像质量评价方法已经被广泛应用，而也有部分研究者提出了几种简单的重定位图像质量评价方法。总结起来，目前的相关方法有以下四个方面的问题。(1)在重定位图像评价方法中多使用浅层神经网络，并将数据回归作为其最终的评价结果获取方式，而这并不能很好地模拟人眼视觉系统对此类图像的感受过程。基于这样的考虑，深度学习的迅速发展能够提升评价算法的准确率。(2)虽然目前很多算法能够单独考虑几何形状变化或者语义信息的匹配，两者的关系并没有被深入挖掘。(3)目前的大部分重定位图像评价方法还都试图沿袭传统的图像质量评价算法框架，而如何建立符合重定位图像特征的评价体系是非常关键的。(4)重定位图像评价算法的泛化能力提升是急需解决的问题。目前的评价算法大多在同一个数据库内进行训练和测试，从而影响了算法的推广。

[1]Y.Fang,Z.Fang,F.Yuan,Y.Yang,S.Yang,andN.N.Xiong,“Optimizedmultioperator image retargeting based on perceptual similarity measure,”IEEETransactions on Systems Man andCybernetics:Systems,vol.47,no.11,pp.2956–2966,2017.

[2]Y.Zhang,Y.Fang,W.Lin,X.Zhang,andL.Li,“Backwardregistrationbasedaspectratio similarity(ars)for image retargeting quality assessment.”IEEETransactions on Image Processing,vol.25,no.9,pp.4286–4297,2016.

[3]Q.Jiang,S.Feng,W.Lin,and G.Jiang,“Learning sparse representationfor objective image retargeting quality assessment,”IEEE Transactions onCybernetics,vol.48,no.4,pp.1276–1289,2017.

发明内容