[发明专利]基于PSV神经网络的跨尺度图像拼接方法及装置

说明书

本发明公开了一种基于PSV神经网络的跨尺度图像拼接方法及装置，其中，方法包括以下步骤：对图像进行扫描，生成图像PSV；将图像PSV送入神经网络，以提取图像特征，并计算权重；根据权重进行加权组合，获得拼接结果图像。该方法具有拼接效果好，一致性好，能够处理大视差、大尺寸图像，计算速度快，可用于实时拼接等特点，在处理大尺寸图像和现实场景图像方面具有独特的优势。

技术领域

本发明涉及数字图像及视频的处理技术领域，特别涉及一种基于PSV神经网络的跨尺度图像拼接方法及装置。

背景技术

随着计算机视觉技术的不断发展和对高质量图像视频的需求越来越大，而单相机的图像分辨率提升困难，难以满足图像分辨率需求，因此催生了单相机扫描、相机阵列等多种亿级像素图像的获取技术，而基于低分辨率全局参考图像的跨尺度相机阵列则是当前最受关注的一种高分辨率图像获取方法。多尺度相机阵列在传统相机阵列的基础上增加了一个短焦距的全局参考相机，以其获取的全局画面为参考，将其他局部画面拼接在一起，形成最终的高分辨率图像。然而，由于相机阵列中各个相机位置存在差异，不同相机采集的图像之间存在视差，传统的基于稀疏特征和图像扭转的图像拼接技术具有受视差影响大、无法保持图像一致性等固有缺陷，难以实现高质量的拼接效果和实时拼接。因此，寻找能够消除视差影响，实现高质量实时拼接的算法成为十亿像素技术发展和工程化应用的迫切需求。此外，由于这一技术所处理的图像具有大尺寸，大视差的特点，现有的基于神经网络的拼接算法也难以应用。

近年来，使用卷积神经网络实现基于参考图的图像超分辨率重建取得了较好的效果，产生了多种实现方法和网络结构。

一是基于图像块的匹配和拼接。郑海天等人提出了使用卷积神经网络实现基于参考图的图像超分辨率重建。首先将低分辨率图像和高分辨率参考图像拆分成多个小图像块，然后通过CC-Net提取每个小图像块的多尺度特征，并在其邻域内寻找其最佳匹配，最后通过SS-Net将小图像块拼接起来生成结果图像。这种方法类似于网格化非均匀扭转算法，通过卷积神经网络使图像块尺寸更小，匹配精度更高。之后又有多篇文章对这一方法进行了不同改进，使重建结果更加精确和稳定，但是这种基于小图像块的方法会使重建图像具有无法避免的与非均匀扭转算法类似的网格效应。

二是基于像素的扭转。为了消除网格效应，郑海天等人提出了CrossNet，抛弃了基于图像块匹配拼接的思路，采用了基于像素扭转的方法，使用全卷积跨尺度扭转模块将每个点进行扭转对齐，最后再通过卷积层生成目标图像。通过这一方法，在消除网格效应，提升图像质量的同时，有效提高了计算效率，计算速度较RefSR提高了100倍。

以上两种方法基本沿用了传统图像拼接中匹配、拼接的思想，通过卷积神经网络实现了基于小图像块或像素点的匹配、拼接，有效改善了拼接效果，提升了拼接速度。然而，现有的跨尺度图像拼接方法存在如下缺陷：

(1)传统拼接方法，主要通过两个图像之间的稀疏特征点提取与匹配，对图像进行扭转对齐，该方法的主要问题是拼接过程复杂，结果图像存在统一性差或网格效应；(2)利用神经网络进行图像的特征提取与匹配，进行基于像素的扭转匹配，这种方法可以提高结果图像的统一性，消除网格效应，提高拼接速度，但是难以实现大视差的图像拼接。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于PSV神经网络的跨尺度图像拼接方法，该方法具有拼接效果好，一致性好，能够处理大视差、大尺寸图像，计算速度快，可用于实时拼接等特点，在处理大尺寸图像和现实场景图像方面具有独特的优势。

本发明的另一个目的在于提出一种基于PSV神经网络的跨尺度图像拼接装置。

为达到上述目的，本发明一方面实施例提出了一种基于PSV神经网络的跨尺度图像拼接方法，包括以下步骤：对图像进行扫描，生成图像PSV；将所述图像PSV送入神经网络，以提取图像特征，并计算权重；根据所述权重进行加权组合，获得拼接结果图像。