[发明专利]基于小波神经网络的图像融合方法、装置、设备及介质

说明书

本发明适用图像处理技术领域，提供了一种基于小波神经网络的图像融合方法、装置、设备及介质，该方法包括：接收内窥镜图像和CT图像，计算CT图像对应内窥镜图像的相对缩放比例和相对旋转角度，根据相对缩放比例和相对旋转角度对CT图像进行缩放和旋转，通过训练好的小波神经网络，对CT图像和内窥镜图像进行图像融合，生成增强现实手术图像，通过增强现实显示设备对增强现实手术图像进行显示输出，从而提高了内窥镜图像与CT图像的图像融合效果，提高了增强现实手术图像的图像质量，进而有效地提高了手术的安全程度。

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于小波神经网络的图像融合方法、装置、设备及介质。

背景技术

尽管经历了数个世纪的发展，如今外科手术的操作方式仍与几百年前基本一样。传统外科手术必须切断很多健康的组织层才能达到目标组织，对健康组织造成了严重的破坏。为了降低开销同时又解除患者的创伤，传统的外科开刀手术正被微创手术所替代，比如图像引导外科手术系统，它的目标在于通过整合医学图像和其他信息源，如跟踪仪器，增强并补充医生对于骨骼空间结构的理解能力。

图像引导外科手术中医生能够通过利用医学成像技术降低外科手术过程中的创伤，并提高准确性和安全性。然而，现有的图像引导手术系统存在一些问题。首先医生不得不把目光从患者身上移到显示屏上，这就破坏了医生的手眼协调，其次医生不能在显示屏上看到患者，降低了外科手术的安全性，最重要的是，图像引导手术只能增加人眼所不能达到的视觉范围与精度，并不能提供额外的“透视”表层的能力。

将增强现实(Augmented Reality,AR)引入到图像引导手术中来可以解决图像引导手术的上述问题。增强现实又称作混合现实(Mixed Reality),即将虚拟生成的图像混合到真实视频流中，使得用户与周围的现实世界的更友好地交互。在基于增强现实的图像引导手术方面，虚拟场景是由CT/MRI图像构建，而实际的内窥镜要与之配准就涉及到多体图像融合问题，即将同一对象的不同介质图像协同地混合在一起来揭示更清晰的信息。现在有许多不同介质如超声波、X光、CT、MRI、PET、SPET等介质可以获取医学图像，如何定量地测量各种图像之间的相互关系以及如何进行优势互补则需要数据融合来解决。

最简单直接的图像融合方法是采取线性变换，如强度－色调饱和变换。该类方法采用主元分析(PCA)获得目标图像和源图像的变化参数后，将目标图像加权叠加到源图像。这类方法的效果不理想，这是因为两幅图像的特征不一定是同时出现的，所以在融合后的图像上两幅图像的特征以降低对比度的方式或机械叠加的方式呈现。而且研究表明，人类的视觉系统对不同尺度大小的边缘特别敏感，两幅图像的尺寸和分辨率必须相同才能被正确地配准与融合。而上述的线性变换方法没有考虑到这一特点。

发明内容

本发明的目的在于提供一种基于小波神经网络的图像融合方法、装置、设备及介质，旨在解决由于现有技术中对内窥镜图像和CT图像进行融合时，得到的增强现实手术图像质量不佳的问题。

一方面，本发明提供了一种基于小波神经网络的图像融合方法，所述方法包括下述步骤：

接收采集到的内窥镜图像，并获取预先采集到、用于与所述内窥镜图像进行图像融合的CT图像；

计算所述CT图像对应所述内窥镜图像的相对缩放比例，计算所述CT图像对应所述内窥镜图像的相对旋转角度；

根据所述CT图像对应所述内窥镜图像的相对缩放比例和所述相对旋转角度，对所述CT图像进行缩放和旋转；

通过预先训练好的小波神经网络，对所述CT图像和所述内窥镜图像进行图像融合，生成相应的增强现实手术图像；

通过增强现实显示设备对所述增强现实手术图像进行显示输出。

另一方面，本发明提供了一种基于小波神经网络的图像融合装置，所述装置包括：