[发明专利]一种多角度超声图像融合方法、系统及电子设备

权利要求书

1.一种多角度超声图像融合方法，其特征在于，包括以下步骤：

步骤a：通过图像处理技术对超声探头进行定位，并利用相机坐标与图像像素坐标相互转换公式得到所述超声探头在腹腔镜双目视频中的空间坐标点；

步骤b：根据所述超声探头的空间坐标点建立齐次线性方程组，并使用奇异值分解得到所述超声探头扫描平面的线性方程；

步骤c：根据所述超声探头扫描平面的线性方程计算超声图像的空间坐标；

步骤d：超声探头采集超声图像，并根据相机坐标与像素坐标转换公式将所述空间坐标转换为融合到视频图像中对应的像素坐标，完成超声图像到视频图像的融合；

其中，在所述步骤a中，所述超声探头定位具体包括：首先使用形态学算法对所述腹腔镜双目视频进行预处理，突出探头在腹腔镜双目视频中的位置；然后利用K均值算法进行二聚类，将腹腔镜双目视频图像二值化，使用Canny梯度算子进行边缘检测，提取探头轮廓，再根据最小外接矩形将探头轮廓标准化；最后，利用图像像素坐标系与相机坐标系转换公式得到三个代表探头位置的空间坐标点P₁、P₂、P₃。

2.根据权利要求1所述的多角度超声图像融合方法，其特征在于，在所述步骤b中，所述得到超声探头扫描平面的线性方程具体为：假设三个空间坐标点分别为P₁(x₁,y₁,z₁)、P₂(x₂,y₂,z₂)、P₃(x₃,y₃,z₃)，扫描平面线性方程为Ax+By+Cz+D＝0，A、B、C、D为待求线性方程系数，得到的齐次线性线性方程组为：

将其转换为矩阵形式为：

令W表示由空间坐标构成的系数矩阵，X表示由A、B、C、D构成的待求参数矩阵，则齐次线性方程组的矩阵形式可以化简为：

WX＝0

根据SVD分解，对所述齐次线性方程组的系数矩阵W进行分解：

W＝USV

SVD分解得到了由WW′的特征向量组成的矩阵U，由W′W的特征向量组成的矩阵V和奇异值矩阵S，得到待求齐次线性方程组的系数[A B C D]的最优解为S的最小奇异值对应的V中的奇异向量，通过所述列向量确定超声探头扫描平面的线性方程。

3.根据权利要求2所述的多角度超声图像融合方法，其特征在于，在所述步骤c中，所述超声图像的融合公式为：

I＝αI_src+(1-α)I_fuse

上述公式中，I表示融合后的图像，I_src表示腹腔镜双目视频中一帧的图像，I_fuse表示待融合的超声图像，α表示融合系数。

4.根据权利要求3所述的多角度超声图像融合方法，其特征在于，所述步骤d后还包括：根据相机坐标系到图像像素坐标系转换公式将超声图像的空间坐标映射为腹腔镜双目视频中的像素坐标；其中，坐标系转换公式如下：

上述公式中，(u,v)表示图像像素坐标系中的坐标点，(u₀,v₀)表示相机光心在图像像素坐标系中的像素坐标，d_x、d_y分别表示一个像素单位对应于图像物理坐标系中的长度；(x,y)表示图像物理坐标系中的坐标点，s为比例因子，f为焦距，(x_c，y_c，z_c)表示相机坐标系中的坐标点，即为超声图像在左眼或右眼视频中的位置坐标；

假设通过上述公式求得了左眼视频中超声图像的图像像素坐标系下的位置坐标，则依据双目视觉成像原理进行光学三角形求解，得到超声图像在右眼视频中的位置坐标；求解公式为：

上述公式中，Δx表示腹腔镜双目视频中某一点的像素差，b为基线，f为焦距，d_x为单位像素对应长度。