[发明专利]一种全景图像处理方法和装置

说明书

本公开涉及一种全景图像处理方法和装置，通过获取待处理的全景图像，将待处理的全景图像输入到预先训练完成的卷积神经网络模型中，其中，卷积神经网络模型包括第一处理层、第二处理层和合成层，通过第一处理层对待处理的全景图像进行处理，得到第一特征信息、第一维度带和第一剩余带，通过第二处理层对第一特征信息和第一剩余带进行处理，得到第一特征图像，通过合成层对第一维度带和第一特征图像进行处理，得到第一全景图像，通过构建并生成卷积神经网络模型，能够快速、高效的提高全景图像的分辨率，且确保全景图像的分辨率的质量，还能节省计算资源。

技术领域

本公开涉及图像处理技术领域，尤其涉及一种全景图像处理方法和装置。

背景技术

随着虚拟现实技术的飞速发展，全景多媒体在人类生活中扮演着越来越重要的角色，在使用全景多媒体观看全景图像时需要全景图像具有极高的分辨率，但是，由于采集、储存和传输的限制，目前全景图像的分辨率普遍较低。

目前，多采用超分辨率方法将单个或一系列低分辨率图像恢复为高分辨率图像，但是，现有的超分辨率方法针对的是二维平面图像，不适用于全景图像；或是采用等矩圆柱投影(ERP)将球面全景图像投影到二维平面上，但是，采用投影的方法会导致不同纬度的像素密度不均匀，特别是对于全景图像中的高纬度地区容易出现几何畸变，又明显的拉伸变形；或是采用其他方式将全景图像序列合并成高分辨率的全景图像，但是，该种方法得到的全景图像没有考虑维度上像素密度的变化，得到的超分辨率的全景图像的匹配精度不高。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种全景图像处理方法和装置，解决了提高全景图像分辨率的问题。

第一方面，本公开实施例提供了一种全景图像处理方法，包括：

获取待处理的全景图像；

将待处理的全景图像输入到预先训练完成的卷积神经网络模型中，其中，卷积神经网络模型包括第一处理层、第二处理层和合成层，通过第一处理层对待处理的全景图像进行处理，得到第一特征信息、第一维度带和第一剩余带，通过第二处理层对第一特征信息和第一剩余带进行处理，得到第一特征图像，通过合成层对第一维度带和第一特征图像进行处理，得到第一全景图像。

可选的，第一处理层包括多个子处理层，其中，子处理层包括特征提取层、空间分割层和判别层；

第二处理层包括特征提取层；

第一全景图像的分辨率大于或等于预设分辨率。

可选的，通过第一处理层对待处理的全景图像进行处理，得到第一特征信息、第一维度带和第一剩余带，包括：

通过特征提取层对待处理的全景图像进行特征提取，得到第一特征信息；

通过空间分割层对第一特征信息进行分割，得到条纹数据；

通过判别层对条纹数据进行判别，得到第一维度带和第一剩余带。

可选的，卷积神经网络模型还包括亚像素卷积层和反卷积层，通过空间分割层对第一特征信息进行分割，得到条纹数据，包括：

采用亚像素卷积层对第一特征信息进行采样，得到第一采样数据；

若当前子处理层是第一处理层中的首个子处理层，则采用反卷积层对待处理的全景图像进行采样，得到第二采样数据；

若当前子处理层不是第一处理层中的首个子处理层，则采用反卷积层对当前子处理层的上一个子处理层得到的第一剩余带进行采样，得到第二采样数据；

根据第一采样数据和第二采样数据，得到第二特征图像；

通过空间分割层按照待处理的全景图像的维度对第二特征图像进行分割，得到条纹数据。