[发明专利]影像处理设备以及方法

说明书

一种影像处理设备，包括影像撷取电路以及处理器。影像撷取电路用以撷取低解析影像；以及处理器连接影像撷取电路，并运行超解析模型，其中超解析模型包括多个神经网络区块，其中处理器用以进行下列操作：利用多个神经网络区块从低解析影像产生超解析影像，其中多个神经网络区块其中一区块包括空间注意力模型以及通道注意力模型，通道注意力模型串接在空间注意力模型之后，空间注意力模型与通道注意力模型用以增强低解析影像当中兴趣区在该超解析影像中的权重。此外，一种影像处理方法也在此揭示。借此，可提升超像素处理的效果，并提升影像中的兴趣区的超像素处理的效果。

技术领域

本发明有关于一种影像处理技术，且特别是有关于影像处理设备以及方法。

背景技术

就目前影像处理技术而言，常常对影像执行超解析(Super Resolution)处理，以进行各种下游任务。例如，提升医学影像清晰度、生物辨识成效或自驾车影像分割等。因此，超解析影像的内容是否能精准呈现“下游任务所需要的关键细节”成为目前超解析处理的重要议题。

发明内容

本发明的一态样揭露一种影像处理设备，包括影像撷取电路以及处理器。影像撷取电路用以撷取低解析影像；以及处理器连接影像撷取电路，并运行超解析模型，其中超解析模型包括多个神经网络区块，其中处理器用以进行下列操作：利用多个神经网络区块从低解析影像产生超解析影像，其中多个神经网络区块其中一区块包括空间注意力模型以及通道注意力模型，通道注意力模型串接在空间注意力模型之后，空间注意力模型与通道注意力模型用以增强低解析影像当中兴趣区在超解析影像中的权重。

在一实施例中，处理器还用以：从在空间注意力模型之前的神经网络区块接收多个特征图；利用第一压缩卷积网络对特征图进行压缩处理以产生多个压缩特征图，其中压缩特征图的数量小于特征图的数量；以及利用空洞卷积网络对压缩特征图进行跳格特征提取以产生多个全局特征图，进而依据全局特征图增强影像当中兴趣区在超解析影像中的权重。

在一实施例中，处理器还用以：利用与第一压缩卷积网络对应的多个卷积核对特征图进行卷积处理以产生多个卷积图，其中卷积核的数量小于特征图的数量；以及依据卷积核与卷积图之间的对应关系对卷积图进行对应元素非线性转换处理以产生压缩特征图，其中压缩特征图分别对应于卷积核。

在一实施例中，空间注意力模型还包括第一激励卷积网络，且处理器还用以：利用第一激励卷积网络对全局特征图进行解压缩处理以产生多个激励权重图，其中激励权重图的数量等于特征图的数量；以及将激励权重图分别与特征图进行元素层级相乘处理以产生多个空间权重特征图，进而依据空间权重特征图增强影像当中兴趣区在超解析影像中的空间域权重。

在一实施例中，处理器还用以：利用与第一激励卷积网络对应的多个卷积核对全局特征图进行卷积处理以产生多个卷积图，其中卷积核的数量大于全局特征图的数量；以及依据卷积核与卷积图之间的对应关系对卷积图进行对应元素正规化处理以产生激励权重图，其中激励权重图分别对应于卷积核。

在一实施例中，通道注意力模型包括全局平均池化层，且处理器还用以：从空间注意力模型接收空间权重特征图；以及利用全局平均池化层对空间权重特征图进行通道平均化处理以产生特征阵列，进而依据特征阵列增强影像当中兴趣区在超解析影像中的权重。

在一实施例中，通道注意力模型还包括第二压缩卷积网络，权重包括与特征图的影像通道域对应的通道域权重，且处理器还用以：利用第二压缩卷积网络对特征阵列进行压缩处理以产生压缩特征阵列，进而依据压缩特征阵列增强影像当中兴趣区在超解析影像中的通道域权重，其中压缩特征阵列的尺寸小于特征阵列的尺寸。

在一实施例中，处理器还用以：利用与第二压缩卷积网络对应的多个卷积核对特征阵列进行卷积处理以产生多个卷积阵列，其中卷积核的数量小于特征阵列中的元素的数量；以及依据卷积核与卷积阵列之间的对应关系对卷积阵列进行对应元素非线性转换处理以产生压缩特征阵列，其中压缩特征阵列中的元素分别对应于卷积核。