[发明专利]标注方法、装置、设备及介质

说明书

本发明实施例公开了一种标注方法、装置、设备及介质。该方法包括：利用三维摄像头采集手术过程中的三维图像；利用预先建立的初始三维模型，匹配三维图像中的物体；其中，初始三维模型包括手术器械三维模型、器官三维模型和生物组织三维模型；在三维图像中，标注匹配出的物体。本发明实施例的标注方法、装置、设备及介质，能够在手术过程中进行标注，进而能够提高基于手术视频数据的深度学习的模型输出结果的准确性，降低手术风险。

技术领域

本发明涉及医疗技术领域，尤其涉及一种标注方法、装置、设备及介质。

背景技术

在深度学习中，保证输出结果的准确性的决定因素在于海量的被准确标注的训练数据。这就要求海量的训练数据和训练数据被准确标注。在基于手术视频数据的深度学习的训练过程中，以上两点尤为突出。

首先，在数据量方面，一场手术很可能会达到一个小时或者一个小时以上。而我们知道每一秒的视频，往往包含24帧以上的画面。即使不需要对每一帧的画面都进行标注，由于手术视频数据中会包含大量的操作，以及目标对象的移动，导致仍然有大量的画面需要单独进行标注。

其次，在手术过程中，大量深度学习所需要的信息(比如，器官内部的血管等管道，特定组织结构)往往被掩盖于器官表面以下，这些信息是人们很难去定位和标注的。同时，在内窥镜手术画面中，往往只能看到局部的器官景象。因此在手术后，标注者很难判断操作时的具体位置。这也是传统的内窥镜手术视频的标注中的一大困扰。如果没有海量正确标注的数据，深度学习模型将无法进行有效训练，以产生准确的结果。

发明内容

本发明实施例提供一种标注方法、装置、设备及介质，能够在手术过程中进行标注，进而能够提高基于手术视频数据的深度学习的模型输出结果的准确性，降低手术风险。

一方面，本发明实施例提供了一种标注方法，包括：

利用三维摄像头采集手术过程中的三维图像；

利用预先建立的初始三维模型，匹配三维图像中的物体；其中，初始三维模型包括手术器械三维模型、器官三维模型和生物组织三维模型；

在三维图像中，标注匹配出的物体。

在本发明的一个实施例中，本发明实施例提供的标注方法还可以包括：

标注匹配出的物体的内部结构以及病灶。

在本发明的一个实施例中，本发明实施例提供的标注方法还可以包括：

标注匹配出的物体对应的手术规划路线。

在本发明的一个实施例中，本发明实施例提供的标注方法还可以包括：

利用内窥镜采集手术过程中的第一图像；

确定物体与内窥镜的相对位置；

根据相对位置，对三维图像中带有标注的物体进行透视投影，得到带有标注的物体对应的第一透视投影图像；

将第一透视投影图像和第一图像进行叠加，得到在第一图像中带有标注的物体。

在本发明的一个实施例中，本发明实施例提供的标注方法还可以包括：

根据相对位置，对带有标注的手术规划路线进行透视投影，得到手术规划路线对应的第二透视投影图像；

将第二透视投影图像和二维图像进行叠加，得到在二维图像中带有标注的手术规划路线。

另一方面，本发明实施例提供了一种标注装置，包括：

三维图像获取模块，用于利用三维摄像头采集手术过程中的三维图像；