[发明专利]一种多角度超声图像融合方法、系统及电子设备

说明书

本申请涉及一种多角度超声图像融合方法、系统及电子设备。包括：步骤a：通过图像处理技术对超声探头进行定位，并利用相机坐标与图像像素坐标相互转换公式得到所述超声探头在腹腔镜双目视频中的空间坐标点；步骤b：根据所述超声探头的空间坐标点建立齐次线性方程组，并使用奇异值分解得到所述超声探头扫描平面的线性方程；步骤c：根据所述超声探头扫描平面的线性方程计算超声图像的空间坐标；步骤d：超声探头采集超声图像，并根据相机坐标与像素坐标转换公式将所述空间坐标转换为融合到视频图像中对应的像素坐标，完成超声图像到视频图像的融合。本申请可以提升医生对术中环境的感知能力，降低术中风险，提高手术成功率。

技术领域

本申请属于医学图像处理技术领域，特别涉及一种多角度超声图像融合方法、系统及电子设备。

背景技术

超声图像是利用超声声束扫描人体，通过对反射信号的接收、处理，从而获得体内器官图像，常被用来判断脏器的位置、大小、形态，确定病灶的范围和物理性质等。

作为一门新发展的微创方法，腹腔镜手术因其术后瘢痕小、疼痛轻、恢复快、住院时间短等优势，深受患者青睐，成为越来越多患者的最佳选择。但是由于腹腔镜手术中存在视野局限性、医生对术中环境感知差，也造成了术中出血、病灶边界定位不准、健康组织切除过多、并发症风险高等诸多问题。由于超声图像具备深度信息的优势，腹腔镜超声技术(LUS)因运而生。LUS是将超声检查与腹腔镜检查相结合的新型影像学诊断技术，可以提供深度视觉信息，弥补了腹腔镜的视野局限性。虽然LUS技术可以利用术中超声图像的深度信息实时监测软组织情况，但是目前基于LUS技术的方法大多是超声图像与CT或MRI图像之间的相互转换，依然依赖于术前数据。而且该技术对数据的配准算法要求较高，容易出现误差。

随着计算机视觉和增强现实技术的发展，学者们提出了腹腔镜增强现实导航技术(LARN)。LARN主要是将手术环境的全局信息融合到腹腔镜视野中，为医生提供手术靶标信息。一般是将CT或MRI等术前图像进行三维重建，再将重建后的模型融合到腹腔镜视频中，从而达到手术导航的目的。目前，LARN主要分为基于术前数据、基于术中数据和基于机器人辅助三种类型，其中基于术前数据的方法是指导航数据来源于术前的CT或MRI，以视频融合方式显示，该方法获取的是术前数据无法准确表示术中患者病变组织的实际情况；基于术中数据的方法是指利用复合手术室获取术中CT或MRI，以视频融合方式显示，由于采集术中数据的系统太过昂贵且受电子设备甚至手术器械的干扰；基于机器人辅助的方法是指使用手术机器人与LARN相结合的技术，但是该项技术的硬件成本很高，而且操作机器人仍存在手术场景感知缺乏(力反馈、深度信息等)的问题，此外医生也需要经过专业的培训才可以上手使用。

发明内容

本申请提供了一种多角度超声图像融合方法、系统及电子设备，旨在至少在一定程度上解决现有技术中的上述技术问题之一。

为了解决上述问题，本申请提供了如下技术方案：

一种多角度超声图像融合方法，包括以下步骤：

步骤a：通过图像处理技术对超声探头进行定位，并利用相机坐标与图像像素坐标相互转换公式得到所述超声探头在腹腔镜双目视频中的空间坐标点；

步骤b：根据所述超声探头的空间坐标点建立齐次线性方程组，并使用奇异值分解得到所述超声探头扫描平面的线性方程；

步骤c：根据所述超声探头扫描平面的线性方程计算超声图像的空间坐标；

步骤d：超声探头采集超声图像，并根据相机坐标与像素坐标转换公式将所述空间坐标转换为融合到视频图像中对应的像素坐标，完成超声图像到视频图像的融合。