[发明专利]便携式增强现实超声影像可视化方法、装置及系统

权利要求书

1.一种便携式增强现实超声影像可视化方法，其特征在于，包括：

通过预设的超声探头模块扫描患者身体得到超声图像；

所述超声图像通过预设的三维定位模块进行接收，并对三维空间位置进行预估；

将超声图像传送至预设的图像处理与融合模块，通过所述图像处理与融合模块将二维的超声图像根据三维空间位置转化为三维模型，并进行畸变预处理；

将所述三维模型与二维的超声图像进行融合渲染，并发送至预设的光学投影模块进行图像显示。

2.根据权利要求1所述的便携式增强现实超声影像可视化方法，其特征在于，所述通过预设的超声探头模块扫描患者身体得到超声图像，具体包括：

通过所述超声探头模块的超声探头采集二维超声图像；

对所述二维超声图像针对病灶和解剖特征进行实时分割处理，将处理后的二维超声图像传送至三维定位模块。

3.根据权利要求1所述的便携式增强现实超声影像可视化方法，其特征在于，所述超声图像通过预设的三维定位模块进行接收，并对三维空间位置进行预估，具体包括：

所述三维定位模块利用自动位方案通过分析超声图像特征估计两帧图像间的相邻位姿，根据散斑的相关现象，在相邻两帧超声图像上，解相关与两个图像之间的距离成正比；

将所获得的图像划分为小的子区域，计算得到的互相关值可用于分析相邻二维图像的相对位姿；

利用预训练完成的卷积神经网络估计相邻两帧超声图像的六自由度相对空间位姿作为输出，估计超声探头的空间三维坐标，完成对三维空间位置的预估。

4.根据权利要求1所述的便携式增强现实超声影像可视化方法，其特征在于，所述将超声图像传送至预设的图像处理与融合模块，通过所述图像处理与融合模块将二维的超声图像根据三维空间位置转化为三维模型，并进行畸变预处理，具体包括：

通过所述图像处理与融合模块对超声图像进行滤波处理去除噪声，并通过深度学习网络进行实时分割，得到感兴趣区域的平面信息；

将所述平面信息根据三维定位信息转换为三维模型，通过畸变校准对曲面镜带来的变形进行补偿，完成畸变预处理。

5.根据权利要求1所述的便携式增强现实超声影像可视化方法，其特征在于，将所述三维模型与二维的超声图像进行融合渲染，并发送至预设的光学投影模块进行图像显示，具体包括：

选择渲染对象，将所述渲染对象载入到渲染空间内；

根据三维显示器的物理参数设置多个虚拟相机拍摄渲染对象获得多视点视图，模拟从三维医学图像发出的每一条光线通过透镜阵列的透镜中心记录到对应的基元图像的过程，生成动态的基元图像用于三维显示；

生成的基元图像传输到高分辨率二维平面显示器上，并经过二维平面显示器上的微透镜调制，在微透镜阵列附近形成具有多角度空间信息的裸眼三维影像，三维虚拟影像经过半透半反镜反射后可以在患者体内原位显示采集到的超声信息。

6.根据权利要求1所述的便携式增强现实超声影像可视化方法，其特征在于，所述光学投影模块采用曲面半透半反元件，以放大三维显示器所显示的图像；

其中，曲面半透半反元件可以是球面或非球面的反射元件，或者采用柱面的反射元件，在采用曲面元件的情况下，可以使用屏幕尺寸更小更轻便的三维显示器。

7.一种便携式增强现实超声影像可视化装置，其特征在于，所述装置包括：

超声探头、主机、三维显示器和半透半反元件；

所述超声探头与主机连接，通过所述超声探头扫描人体将扫描的图像传送至主机；

所述主机对接收到的扫描图像进行处理，所述主机与三维显示器连接，所述三维显示器包括二维显示器和微透镜阵列，通过微透镜阵列对二维显示器上显示的图像进行调制，能够在空间中复现三维物体的光场，使观察者通过肉眼直接观察到三维信息；

所述半透半反元件设置在三维显示器下方，所述半透半反元件通过平面镜或曲面镜构成，所述三维显示器发出的光线被半透半反元件反射，同时人体发出的光线被半透半反元件透视，两者融合实现增强显示可视化，使超声图像原位显示在患者体内。