[发明专利]一种图像处理方法及计算机程序产品

说明书

一种图像处理方法及计算机程序产品，由不同图像捕捉装置捕捉的图像可能具有不同的视场和/或分辨率。这些图像中的一个或多个图像可以基于图像模板来对齐，并且可以使用机器学习的数据恢复模型来预测调整后的图像的附加细节，并且将其添加到调整后的图像，使得图像可以具有相同的视场或相同的分辨率。

技术领域

本申请涉及图像处理领域，尤其涉及一种图像处理方法及计算机程序产品。

背景技术

由安装在相同环境中的不同图像捕捉装置捕捉的图像可能具有朝向该环境的不同视场和/或不同分辨率。为了将这些图像中包含的信息用于与环境相关联的数据处理任务，可能需要对齐和/或扩充图像，使得图像可以具有相同的视场、相同的分辨率或像素级对应性。用于实现这种目标的常规方法可以裁剪具有较大视场的图像，以适应具有较小视场的图像，从而(例如，在至少一些情况下)产生分辨率与输入图像的最小分辨率相等的输出图像。因此，能够自动对齐和/或扩充交叉模态图像以便实现大FOV和/或高分辨率的系统和方法可能是期望的。

发明内容

本文描述了与自动图像对齐和扩充相关联的系统、方法和装置。一种被配置为执行这些任务的设备可以包括至少一个处理器，其被配置为获得由相应的图像捕捉装置捕捉的图像，并且基于图像模板来调整图像中的一个或多个图像。由处理器获得的图像可以关于视场(FOV)或分辨率中的至少一个彼此不同，并且基于图像模板进行的调整可以关于图像的分辨率或纵横比中的至少一个来对齐图像中的一个或多个图像(例如，一个或多个图像可以被调整为具有与图像模板相同的分辨率或纵横比)。至少一个处理器还可以被配置为基于机器学习的(ML)数据恢复模型来确定一个或多个调整后的图像的附加细节，并且利用附加细节来补充一个或多个调整后的图像，使得一个或多个调整后的图像可以具有相同的视场或相同的分辨率。

在示例中，设备所获得的图像可以包括由彩色图像传感器捕捉的彩色图像、由深度传感器捕捉的深度图像和/或由相应医学成像装置捕捉的一个或多个医学扫描图像。图像可以在各种(例如，不同)时间捕捉和/或可以具有不同的视场(例如，其可以部分地重叠)。在示例中，用于对齐图像的图像模板可以是预定义的或基于设备所获得的图像来确定。参数模型可以基于图像捕捉装置的相应的内部参数或外部参数来确定，并且可以包括与图像捕捉装置相关联的相应的投影矩阵。投影矩阵可以用于(例如在图像调整过程期间)将图像投影到图像模板上。

在示例中，ML数据恢复模型可使用至少一个卷积神经网络(CNN)来实施且可在多个图像集合上训练，其中，多个图像集合中的每个集合可包括至少由第一图像捕捉装置捕捉的第一图像和由第二图像捕捉装置捕捉的第二图像。可以对齐第一图像和第二图像以符合训练图像模板，并且在ML数据恢复模型(例如，神经网络)的训练期间，ML数据恢复模型可被配置为基于第一图像和第二图像预测第一图像的缺失细节。

附图说明

从以下结合附图以示例方式给出的描述中，可以更详细地理解本文公开的示例。

图1是例示了其中可以实施本文所公开的技术的环境的示例的图。

图2是例示了根据本公开的一个或多个实施例的用于对齐和扩充交叉模态图像的示例技术的图。

图3是例示了根据本公开的一个或多个实施例的图像对齐的示例的图。

图4是例示了根据本公开的一个或多个实施例的预测图像的缺失细节的示例的图。

图5是例示了可以与训练神经网络以执行根据本公开的一个或多个实施例描述的任务相关联的示例操作的流程图。

图6是例示了根据本公开的一个或多个实施例的可以与对齐和扩充交叉模态图像相关联的示例操作的流程图。

图7是例示了可以被配置为执行根据本公开的一个或多个实施例描述的任务的设备的示例部件的框图。

具体实施方式