[发明专利]基于视觉语义引导的图像去模糊方法

权利要求书

1.基于视觉语义引导的图像去模糊方法，其特征在于包括以下步骤：

1)提出结构化空间语义嵌入模型，称为S3E-Deblur，构造结构空间语义树，即S3树，用于自动推断结构化内容和在推理期间提供结构化空间特征，连接图像语义理解和图像去模糊两大模块，在多任务中实现语义的建模和嵌入，以获得最佳的特征图；

所述构造结构空间语义树包括三个步骤：卷积解耦、卷积组合和语义分类，具体步骤如下：

(1.1)在卷积解耦中，首先从卷积神经网络CNN的最后一个卷积层中提取模糊图像的视觉特征图，然后将特征图卷积到不同的语义空间，即主语、对象和关系，以分离语义内容；

(1.2)在卷积组合中，语义树的两个子节点的特征图被卷积并合并到其父节点的特征图中；

(1.3)在语义分类中，根据预处理的实体/关系词汇表，每个节点的特征图被映射到实体/关系类别空间，其中特征图分别通过非线性函数，平均池化操作和完全连接操作，并转换为特征向量；

2)在模糊图像去模糊过程中，将步骤1)中获得的最佳的特征图采用卷积与合并操作输入到去模糊模块中；该去模糊模块基于树结构的生成对抗网络进行训练；其中损失函数包括：S3树引导的对抗损失以及S3树引导的内容损失；

3)模糊图像自动描述和图像去模糊协同训练，对树模型进行行优化。

2.如权利要求1所述基于视觉语义引导的图像去模糊方法，其特征在于在步骤2)中，所述将步骤1)中获得的最佳的特征图采用卷积与合并操作输入到去模糊模块中的具体方法为：将步骤1)中得到的主语/关系/宾语的特征图以及对抗网络的生成器的卷积图进行再一次卷积的操作并嵌入到对抗网络的下一个卷积层中；通过这种方式，利用高级的语义信息对图像去模糊进行指导，生成比较清晰的图像；在训练阶段，利用GAN的判别器对生成的图像和真实图像进行判别，从而实现在S3树的参数优化过程中优化去模糊的生成器和判别器参数。

3.如权利要求1所述基于视觉语义引导的图像去模糊方法，其特征在于在步骤3)中，所述模糊图像自动描述采用常用的负对数似然作为重建损失来训练模糊图像自动描述模型；所述图像去模糊将S3树的分类损失、图像自动描述的重建损失、图像去模糊的对抗性损失联合最小化，从而得到最优的模型参数用于图像去模糊。