[发明专利]增强现实手术图像的生成方法、装置、设备及存储介质

权利要求书

1.一种增强现实手术图像的生成方法，其特征在于，所述方法包括下述步骤：

通过摄像头采集手术场景的场景图像，对所述场景图像进行配准；

通过所述摄像头获取所述手术场景中内窥镜的位置，并获取所述内窥镜采集的内窥镜图像；

根据所述内窥镜的位置，对所述内窥镜图像和预先构建的三维CT图像进行配准，生成所述内窥镜图像与所述三维CT图像的配准图像；

通过增强现实显示设备对所述配准图像和配准的所述场景图像进行显示输出，以获得相应的增强现实手术图像。

2.如权利要求1所述的方法，其特征在于，对所述场景图像进行配准的步骤，包括：

通过预设的标记点定位方式对所述场景图像进行配准。

3.如权利要求1所述的方法，其特征在于，对所述内窥镜图像和预先构建的三维CT图像进行配准的步骤，包括：

根据所述内窥镜的位置和预设的旋转角度，对所述三维CT图像进行多次旋转，获得多个伪二维图像；

将所述内窥镜图像分别与所述每个伪二维图像进行配准，获得所述每个伪二维图像与所述内窥镜图像的匹配程度；

根据获得所述每个伪二维图像与所述内窥镜图像的匹配程度，获得所述内窥镜图像与所述三维CT图像的配准图像。

4.如权利要求3所述的方法，其特征在于，将所述内窥镜图像分别与所述每个伪二维图像进行配准的步骤，包括：

通过预设的卡尔曼滤波算法和预设的角点匹配算法，将所述内窥镜图像分别与所述每个伪二维图像进行配准。

5.如权利要求1所述的方法，其特征在于，所述增强现实显示设备为头盔式增强现实显示设备。

6.一种增强现实手术图像的生成装置，其特征在于，所述装置包括：

外部图像配准单元，用于通过摄像头采集手术场景的场景图像，对所述场景图像进行配准；

内窥镜图像获取单元，用于通过所述摄像头获取所述手术场景中内窥镜的位置，并获取所述内窥镜采集的内窥镜图像；

内部图像配准单元，用于根据所述内窥镜的位置，对所述内窥镜图像和预先构建的三维CT图像进行配准，生成所述内窥镜图像与所述三维CT图像的配准图像；以及

显示输出单元，用于通过增强现实显示设备对所述配准图像和配准的所述场景图像进行显示输出，以获得相应的增强现实手术图像。

7.如权利要求6所述的装置，其特征在于，所述内部图像配准单元还包括：

伪二维图像获取单元，用于根据所述内窥镜的位置和预设的旋转角度，对所述三维CT图像进行多次旋转，获得多个伪二维图像；

伪二维图像配准单元，用于将所述内窥镜图像分别与所述每个伪二维图像进行配准，获得所述每个伪二维图像与所述内窥镜图像的匹配程度；以及

配准图像获取单元，用于根据获得所述每个伪二维图像与所述内窥镜图像的匹配程度，获得所述内窥镜图像与所述三维CT图像的配准图像。

8.如权利要求7所述的装置，其特征在于，所述伪二维图像配准单元包括：

配准子单元，用于通过预设的卡尔曼滤波算法和预设的角点匹配算法，将所述内窥镜图像分别与所述每个伪二维图像进行配准。

9.一种图像处理设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。