[发明专利]图像处理方法和装置、图像重建模型的训练方法和装置

权利要求书

1.一种图像处理方法，其特征在于，所述方法包括：

获取原始全向图像中多个像素点分别对应的位置信息；

基于多个所述像素点对应的位置信息，确定每个所述像素点在三维空间的角坐标信息，以得到所述原始全向图像对应的全局角坐标信息；所述全局角坐标信息表征多个所述像素点的角坐标信息的集合；

将所述全局角坐标信息和所述原始全向图像在通道维度上进行融合处理，得到对应的融合特征；

对所述融合特征进行特征提取，并基于所述全局角坐标信息对特征提取所得到的特征在空间维度进行上采样处理，得到上采样特征；

根据所述上采样特征重建得到目标全向图像，所述目标全向图像的分辨率大于所述原始全向图像的分辨率。

2.根据权利要求1所述的方法，其特征在于，所述位置信息包括像素点在图像坐标系中的坐标信息；所述基于多个所述像素点对应的位置信息，确定每个所述像素点在三维空间的角坐标信息，以得到所述原始全向图像对应的全局角坐标信息，包括：

基于多个所述像素点各自对应的坐标信息，确定各所述像素点在像素坐标系的横轴方向和纵轴方向上分别对应的尺度因子；

对多个所述像素点在横轴方向和纵轴方向上分别对应的尺度因子进行等距柱状投影的逆处理，得到多个所述像素点中的每个像素点在球面坐标系中对应的角坐标信息，以得到所述原始全向图像对应的全局角坐标信息。

3.根据权利要求2所述的方法，其特征在于，所述基于多个所述像素点各自对应的坐标信息，确定各所述像素点在像素坐标系的横轴方向和纵轴方向上分别对应的尺度因子，包括：

确定所述原始全向图像的高度和宽度；

获取第一坐标转换系数，根据所述原始全向图像的高度和宽度、多个所述像素点各自对应的坐标信息和所述第一坐标转换系数，确定各所述像素点在像素坐标系的横轴方向和纵轴方向上分别对应的尺度因子；

所述对多个所述像素点在横轴方向和纵轴方向上分别对应的尺度因子进行等距柱状投影的逆处理，得到多个所述像素点中的每个像素点在球面坐标系中对应的角坐标信息，以得到所述原始全向图像对应的全局角坐标信息，包括：

基于第二坐标转换系数和多个所述像素点分别在横轴方向、纵轴方向上的尺度因子进行等距柱状投影的逆处理，得到多个所述像素点中的每个像素点在球面坐标系中对应的角坐标信息；

根据每个所述像素点的角坐标信息，形成所述原始全向图像对应的全局角坐标信息。

4.根据权利要求1所述的方法，其特征在于，所述对所述融合特征进行特征提取，并基于所述全局角坐标信息对特征提取所得到的特征在空间维度进行上采样处理，得到上采样特征，包括：

基于所述融合特征进行不同层次的特征提取，得到不同层次的特征；

将所述不同层次的特征进行逐像素融合，得到残差融合特征；

基于所述全局角坐标信息，对所述残差融合特征在空间维度进行上采样处理，得到上采样特征。

5.根据权利要求4所述的方法，其特征在于，所述基于所述全局角坐标信息，对所述残差融合特征在空间维度进行上采样处理，得到上采样特征，包括：

将所述残差融合特征在空间维度进行上采样处理，得到空间维度变换后的特征；

对所述全局角坐标信息进行尺度提取处理，得到对应的全局尺度信息；

基于所述全局尺度信息，确定所述全局角坐标信息对应的坐标偏移信息和尺度变换权重信息；

根据所述坐标偏移信息和尺度变换权重信息，对所述空间维度变换后的特征进行通道变换处理，得到上采样特征。

6.根据权利要求5所述的方法，其特征在于，所述基于所述全局尺度信息，确定所述全局角坐标信息对应的坐标偏移信息和尺度变换权重信息，包括：

获取偏移参数和尺度变换参数，基于所述偏移参数对所述全局尺度信息进行坐标偏移计算，得到所述全局角坐标信息对应的坐标偏移信息；

基于所述尺度变换参数对所述全局尺度信息进行尺度变换处理，得到所述全局角坐标信息对应的尺度变换权重信息。