[发明专利]基于多智能强化学习的自然图像的几何配准方法及模型

说明书

本发明实施例提供一种基于多智能强化学习的自然图像的几何配准方法及模型，属于图像识别技术领域。所述几何配准方法包括：获取源图像和配准图像；对所述源图像和配准图像分别执行结构信息提取操作以得到对应的第一特征和第二特征；根据所述第一特征和第二特征执行注意力相关图计算操作以得到注意相关图；根据所述注意力相关图分别执行多次策略网络计算操作以得到对应的多个第一向量；根据所述第一向量和所述注意相关图执行值融合网络计算操作以得到配准参数。该几何配准方法及模型能够准确完成图像配准操作。

技术领域

本发明涉及图像识别技术领域，具体地涉及一种基于多智能强化学习的自然图像的几何配准方法及模型。

背景技术

图像配准一般是指将两个图像集根据二者的图像内容匹配到同一坐标系中的过程。常见的图像配准任务有多视角配准、多时配准、多模态配准和场景-模型配准。根据数据来源也可以分为医学图像配准、遥感图像配准和自然图像配准。从原理上可以分为基于区域的配准和基于特征的图像配准。基于区域的方法更侧重于图像相似区域的匹配，而不是提取图像中的特征，更适合一些缺少局部结构、形状信息的图像的配准。

传统方式中，基于特征的图像配准方法一般有四个步骤：特征提取、特征匹配、变换模型估计以及图像重采样与变换。特征提取是指将图像中的关键结构信息如点、线、区域等特征检测出来。这些特征具有的不变性和重叠准则为后续的特征匹配提供了前提条件。特征匹配是将检测到的特征通过其邻近区域的特征空间分布等描述相关程度的度量进行匹配，也就是利用源图像和目标图像检测到的两组特征之间的空间关系或其他特征描述，找到它们之间的成对对应关系。另外，也有一些基于不变描述符的方法，匹配图像中一些稳定、唯一的特征。但是，这些方法由于缺少对关键点的关注，导致图像配准效果均不佳。

发明内容

本发明实施例的目的是提供一种基于多智能强化学习的自然图像的几何配准方法及模型，该几何配准方法及模型能够准确完成图像配准操作。

为了实现上述目的，本发明实施例提供一种基于多智能强化学习的自然图像的几何配准方法，包括：

获取源图像和配准图像；

对所述源图像和配准图像分别执行结构信息提取操作以得到对应的第一特征和第二特征；

根据所述第一特征和第二特征执行注意力相关图计算操作以得到注意相关图；

根据所述注意力相关图分别执行多次策略网络计算操作以得到对应的多个第一向量；

根据所述第一向量和所述注意相关图执行值融合网络计算操作以得到配准参数。

可选地，对所述源图像和配准图像分别执行结构信息提取操作以得到对应的第一特征和第二特征包括：

将所述源图像和配准图像分别输入U-net网络中，以得到所述第一特征和第二特征，其中，所述U-net网络的最后一层被替换为交替排列的两个卷积层和池化层。

可选地，根据所述第一特征和第二特征执行注意力相关图计算操作以得到注意相关图包括：

对所述第一特征执行卷积操作和尺度变换操作以得到第一标准特征；

对所述第二特征执行卷积操作、尺度变换操作以及转置操作以得到第二标准特征；

对所述第一标准特征和第二标准特征执行矩阵乘法操作、softmax函数激活操作以得到注意力图；

将所述第一特征和第二特征叠加以得到相关图；

对所述注意力图和所述相关图执行矩阵乘法操作，以得到第一注意力相关图；

对所述注意力图和所述第一相关图执行矩阵乘法操作，以得到所述注意力相关图。