[发明专利]图像融合的方法、装置、车辆及存储介质

说明书

本公开涉及一种图像融合的方法、装置、车辆及存储介质，涉及多媒体技术领域，该方法包括：获取多个图像采集装置采集的图像。获取每个图像的图像特征。将每个图像的图像特征作为预先训练的图像融合模型的输入，得到图像融合模型输出的融合后的目标图像，图像融合模型用于将多个图像特征拼接为目标特征向量，对目标特征向量进行编码，得到编码后的编码向量，对编码向量进行解码，得到目标图像。本公开通过图像融合模型对多个图像采集装置采集到的多个图像进行编码和解码处理，得到多个图像融合后的目标图像，能够提高图像融合的准确度。

技术领域

本公开涉及多媒体技术领域，尤其涉及一种图像融合的方法、装置、车辆及存储介质。

背景技术

随着社会的不断发展，自动驾驶汽车越来越多地应用在人们的生活中。在自动驾驶汽车的感知任务中，车辆需要感知车身周围360度的信息，这些信息往往来源于多个图像采集装置(例如相机和雷达)，而多个图像采集装置的采集区域可能存在重合，导致同一个物体出现在多个图像中的情况。相关技术中，无法对重复出现在多个图像中的物体进行准确地处理，导致车辆无法准确地获取到车身周围的信息。

发明内容

为克服相关技术中存在的问题，本公开提供一种图像融合的方法、装置、车辆及存储介质。

根据本公开实施例的第一方面，提供一种图像融合的方法，所述方法包括：

获取多个图像采集装置采集的图像；

获取每个图像的图像特征；

将每个图像的图像特征作为预先训练的图像融合模型的输入，得到所述图像融合模型输出的融合后的目标图像，所述图像融合模型用于将多个所述图像特征拼接为目标特征向量，对所述目标特征向量进行编码，得到编码后的编码向量，对所述编码向量进行解码，得到所述目标图像。

可选地，所述图像融合模型包括编码模块和解码模块，所述编码模块用于：

对所述目标特征向量按照第一编码方式进行编码，得到第一编码向量；

对所述目标特征向量按照第二编码方式进行编码，得到第二编码向量；

所述解码模块用于：

对所述第一编码向量和所述第二编码向量进行解码处理，得到所述目标图像。

可选地，所述对所述目标特征向量按照第一编码方式进行编码，得到第一编码向量包括：

对所述目标特征向量进行维度变换，得到第一变换特征向量；

对所述第一变换特征向量进行位置编码，得到第一位置向量；

将所述第一变换特征向量与所述第一位置向量之和，作为所述第一编码向量。

可选地，所述对所述目标特征向量进行维度变换，得到第一变换特征向量包括：

将所述目标特征向量中的高度和宽度进行扁平化处理，得到第一中间特征向量；

在所述第一中间特征向量中的维度数与预设的维度数不相等的情况下，对所述第一中间特征向量进行线性变换，得到所述第一变换特征向量。

可选地，所述对所述目标特征向量进行维度变换，得到第一变换特征向量还包括：

在所述第一中间特征向量中的维度数与预设的维度数相等的情况下，将所述第一中间特征向量作为所述第一变换特征向量。

可选地，所述对所述目标特征向量按照第二编码方式进行编码，得到第二编码向量包括：

对所述目标特征向量进行维度变换，得到第二变换特征向量；

对所述第二变换特征向量进行位置编码，得到第二位置向量；