[发明专利]图像配准方法及其相关的模型训练方法、设备、装置

权利要求书

1.一种图像配准模型的训练方法，其特征在于，包括：

获取真实二维图像和参考二维图像，其中，真实二维图像为利用成像器件对真实目标进行成像得到的，所述参考二维图像中的真实目标所在位置与所述真实二维图像匹配；

利用所述图像配准模型的虚拟图像特征提取网络对所述参考二维图像进行特征提取，得到第一虚拟特征图；其中，所述图像配准模型已利用虚拟图像进行预训练，且所述虚拟图像特征提取网络参与所述预训练，所述虚拟图像是基于虚拟目标生成的；

利用所述图像配准模型的真实图像特征提取网络对所述真实二维图像进行特征提取，得到第一真实特征图；其中，所述真实图像特征提取网络未参与所述预训练；

利用所述第一真实特征图和第一虚拟特征图之间的差异，调整所述真实图像特征提取网络的网络参数。

2.根据权利要求1所述的方法，其特征在于，所述获取参考二维图像，包括：

利用所述真实二维图像与真实三维图像之间的实际配准结果，生成所述真实目标所在位置与所述真实二维图像一致的参考二维图像。

3.根据权利要求2所述的方法，其特征在于，所述图像配准模型还包括参与所述预训练的投影图像特征提取网络和位置预测网络；

在所述利用所述第一真实特征图和第一虚拟特征图之间的差异，调整所述真实图像特征提取网络的网络参数之后，所述方法还包括：

利用调整后的所述真实图像特征提取网络对所述真实二维图像进行特征提取，得到第二真实特征图；

利用所述真实二维图像的第一投影模型参数对真实三维图像进行投影，得到第一投影图像，并获取所述真实目标上的特征点在所述第一投影图像的第一实际二维位置；

利用所述投影图像特征提取网络对所述第一投影图像进行特征提取，得到第一投影特征图；

利用所述位置预测网络，在所述第一投影特征图上确定与所述第一实际二维位置对应的第一投影特征位置，在所述第二真实特征图中查找出与所述第一投影特征图上的所述第一投影特征位置对应的真实特征位置，利用所述真实特征位置得到所述特征点在所述真实二维图像上的第一预测二维位置；

利用所述第一预测二维位置，获得所述真实二维图像与所述真实三维图像的预测配准结果；

利用所述实际配准结果和预测配准结果之间的差异，调整所述真实图像特征提取网络、投影图像特征提取网络和位置预测网络中的至少一个网络的网络参数。

4.根据权利要求3所述的方法，其特征在于，所述利用所述实际配准结果和预测配准结果之间的差异，调整所述真实图像特征提取网络的网络参数，包括：

利用所述第二真实特征图和第一虚拟特征图之间的差异、实际配准结果和预测配准结果之间的差异，调整所述真实图像特征提取网络的网络参数。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括以下步骤，以对所述图像配准模型进行预训练：

获取至少一组虚拟二维图像和第二投影图像，以及获取虚拟目标上的特征点分别在所述虚拟二维图像的第二实际二维位置和在第二投影图像的第三实际二维位置，其中，所述虚拟二维图像是对所述虚拟目标进行模拟成像得到的，所述第二投影图像是对所述虚拟目标进行模拟投影得到的；

将每组所述虚拟二维图像、第二投影图像以及所述第三实际二维位置输入至图像配准模型，以得到所述特征点在所述虚拟二维图像的第二预测二维位置；

基于所述第二实际二维位置和所述第二预测二维位置，对所述图像配准模型的网络参数进行调整。