[发明专利]图像生成方法和融合成像系统

说明书

本公开提供了图像生成方法和融合成像系统，可以应用于图像处理技术领域。该方法包括：获取第一图像和第二图像，第一图像为单光子相机采集的目标场景的三维图像，第二图像为红外相机采集的目标场景的灰度图像；利用目标图像生成模型对第一图像进行特征提取，生成第一特征数据；利用目标图像生成模型对第一图像进行相似度分析，生成第二特征数据；将第一特征数据和第二特征数据进行特征整合，生成深度图像；将深度图像和第二图像进行融合，生成目标图像。

技术领域

本公开涉及图像处理技术领域，更具体地，涉及一种图像生成方法、融合成像系统、存储介质和程序产品。

背景技术

近年来，单光子探测技术蓬勃发展，可以对微弱的光信号进行高精度的时间测量。单光子成像雷达将单光子探测技术与传统激光成像雷达结合，可利用极其微弱的回波信号对目标场景进行高精度的三维成像。

在实现本公开构思的过程中，发明人发现相关技术中至少存在如下问题：在一些特殊环境下，例如夜间或者雾天，单光子成像雷达成像分辨率较低，大视场成像时会损失目标场景的细节，只能得到较为粗糙的目标场景三维图像。

发明内容

有鉴于此，本公开实施例提供了一种图像生成方法、融合成像系统、存储介质和程序产品。

本公开实施例的一个方面提供了一种图像生成方法，包括：获取第一图像和第二图像，上述第一图像为单光子相机采集的目标场景的三维图像，上述第二图像为红外相机采集的上述目标场景的灰度图像；利用目标图像生成模型对上述第一图像进行特征提取，生成第一特征数据；利用上述目标图像生成模型对上述第一图像进行相似度分析，生成第二特征数据；将上述第一特征数据和上述第二特征数据进行特征整合，生成深度图像；将上述深度图像和上述第二图像进行融合，生成目标图像。

根据本公开的实施例，上述利用目标图像生成模型对上述第一图像进行特征提取，生成第一特征数据，包括：降低上述第一图像的分辨率，生成中间图像；对上述中间图像进行分割，生成多个分割图像；利用目标图像生成模型对相邻的上述分割图像进行相似度分析，生成第一特征数据。

根据本公开的实施例，上述中间图像包括多个中间像素点，上述利用上述目标图像生成模型对上述第一图像进行相似度分析，生成第二特征数据，包括：确定每个上述中间像素点的像素特征；针对任意两个上述像素特征，利用上述目标图像生成模型进行相似度分析，生成中间特征数据；基于多个上述中间特征数据得到第二特征数据。

根据本公开的实施例，上述将上述第一特征数据和上述第二特征数据进行特征整合，生成深度图像，包括：将上述第一特征数据和上述第二特征数据进行特征整合，生成深度数据；基于上述深度数据进行图像重构，生成深度图像。

根据本公开的实施例，上述目标图像生成模型是通过如下方法训练的：对训练图像中多个初始像素点进行筛选，得到去噪图像，上述训练图像为单光子相机采集的真实图像；将上述去噪图像输入前向成像模型中，输出测试数据集；将上述测试数据集输入初始图像生成模型中，输出预测图像；确定上述预测图像和上述训练图像之间的差异值；将上述差异值输入上述初始图像生成模型的损失函数中，输出损失值；基于上述损失值对上述初始图像生成模型进行训练，得到上述目标图像生成模型。

根据本公开的实施例，上述对训练图像进行去噪，得到去噪图像，包括：基于多个上述初始像素点的光子响应时间，生成底噪曲线；基于上述底噪曲线对上述初始像素点进行初筛，得到初筛图像，上述初筛图像中包括多个初筛像素点；确定每个上述初筛像素点的响应区域，上述响应区域中包括初筛像素点和多个对比像素点；基于对比响应时间对上述初筛像素点进行细筛，得到上述去噪图像，上述对比响应时间为每个上述对比像素点对应的光子响应时间。

根据本公开的实施例，上述基于上述底噪曲线对上述初始像素点进行初筛，得到初筛图像，包括：基于上述底噪曲线确定每个上述初始像素点的底噪水平；基于上述底噪水平确定每个上述初始像素点对应的响应强度；筛选上述初始像素点中光子响应时间大于上述响应强度的像素点，得到上述初筛图像。