[发明专利]一种图像处理方法及其系统、存储介质

说明书

本发明涉及一种图像处理方法及其系统、存储介质，所述方法包括：获取当前时刻车辆前方环境的低分辨率图像序列；并且，获取上一时刻神经网络模型输出的第一高分辨率图像序列，对所述第一高分辨率图像序列进行采样和线性处理得到第二高分辨率图像序列；将所述低分辨率图像序列、所述第二高分辨率图像序列输入所述神经网络模型进行图像融合输出当前时刻的第一高分辨率图像序列。实施本发明，能够实现对车辆摄像装置所采集的图像进行超分辨率增强，以便于高速驾驶过程中更好地根据图像进行远距离小障碍物的检测。

技术领域

本发明涉及图像处理技术领域，具体涉及一种图像处理方法及其系统、存储介质。

背景技术

目前自动驾驶技术是行业研究的热点，国内外正在重点研究自动驾驶相关算法以及工程应用可行性和安全性，在自动驾驶的应用场景中，不可避免地会出现远距离小障碍物，自动驾驶过程中驾驶决策的安全性受到在高速驾驶下小障碍物的检测准确率以及实时性的影响，而提高检测准确率以及满足实时性要求的一个重要因素在于图像的采集处理，需要对原始图像进行分辨率增强，以便于更好地进行远距离小障碍物的检测。

发明内容

本发明的目的在于提出一种图像处理方法及其系统、存储介质，以实现对车辆摄像装置所采集的图像进行超分辨率增强，以便于高速驾驶过程中更好地根据图像进行远距离小障碍物的检测。

为实现上述目的，根据第一方面，本发明实施例提出一种图像处理方法，包括：

获取当前时刻车辆前方环境的低分辨率图像序列；并且，获取上一时刻神经网络模型输出的第一高分辨率图像序列，对所述第一高分辨率图像序列进行采样和线性处理得到第二高分辨率图像序列；

将所述低分辨率图像序列、所述第二高分辨率图像序列输入所述神经网络模型进行图像融合输出当前时刻的第一高分辨率图像序列。

优选地，所述对所述第一高分辨率图像序列进行采样和线性处理得到第二高分辨率图像序列，包括：

对所述第一高分辨率图像序列进行最大池化下进行采样，得到与所述低分辨率图像序列相同尺寸的图像序列，并对采样得到的该图像序列进行线性处理得到第二高分辨率图像序列；其中，所述线性处理过程如下公式所示：

其中，α为超参数，α通过所述神经网络模型预先训练得到；为第二高分辨率图像序列中的一个图像；为采样得到的该图像序列中的一个图像。

优选地，所述低分辨率图像序列、第一高分辨率图像序列、第二高分辨率图像序列均包括连续3帧图像。

优选地，所述超参数α具体通过以下方式进行预先训练得到：

获取训练用的低分辨率图像序列样本和高分辨率图像序列样本，并根据所述低分辨率图像序列样本和高分辨率图像序列样本对神经网络模型进行训练；其中所述低分辨率图像序列样本与所述高分辨率图像序列样本的采集时刻相对应；

其中，训练过程中神经网络模型的损失函数如下：

L＝μ*L1(k,k)+γ*L1(k,k-1)+ρ*L1(k,k+1)

其中，L1(k,k)表示k时刻神经网络模型的输出图像与k时刻的高分辨率图像序列样本中对应图像的差距；L1(k,k-1)为k时刻神经网络模型的输出图像和k-1时刻的高分辨率图像序列样本中对应图像的差距；L1(k,k+1)为k时刻神经网络模型的输出图像和k+1时刻的高分辨率图像序列样本中对应图像的差距；μ、γ、ρ为权重参数；

进行迭代计算，确定上述损失函数收敛时所对应的损失值并根据所述损失值确定所述超参数α。

优选地，所述根据所述损失值确定所述超参数α，包括：