[发明专利]多模态医学图像处理

权利要求书

1.一种自动识别医学或临床图像数据中感兴趣区域的方法，所述方法包括以下步骤：

接收未标记的输入数据，所述输入数据包括来自多种数据模态之一的数据；

使用经过训练的编码器对所述未标记的输入数据进行编码；

使用经过训练的联合表示模块确定联合表示；以及

使用所述联合表示作为经过训练的分类器的输入，为所述输入数据生成标记数据。

2.根据权利要求1所述的方法，其中，利用包含多种模态的输入训练数据训练所述编码器、所述联合表示模块和所述分类器。

3.根据任何前述权利要求所述的方法，其中，提供一种或多种模态的输入数据。

4.根据权利要求3所述的方法，其中，所述输入数据包括以下项中的一项或多项：乳房X光摄影；X射线；计算机断层(CT)扫描；磁共振成像(MRI)数据；组织学数据；乳房X光摄影数据；遗传序列数据和/或超声数据。

5.根据任何前述权利要求所述的方法，其中，使用从一个或多个经过训练的编码器接收的一个或多个输出进行训练所述联合表示模块。

6.根据任何前述权利要求所述的方法，其中，所述联合表示模块接收编码数据作为浮点数的三维张量。

7.根据任何前述权利要求所述的方法，其中，所述联合表示为向量的形式。

8.根据任何前述权利要求所述的方法，其中，生成标记数据还包括生成未标记输入数据中一个或多个感兴趣区域的指示。

9.根据任何前述权利要求所述的方法，其中，未标记输入数据的模态数比用于训练所述编码器、所述联合表示模块和所述分类器的输入训练数据的模态数少一个。

10.一种为医学或临床数据训练分类器的方法，包括以下步骤：

从预标记数据集中接收未标记的输入数据，所述输入数据包括来自多种模态的数据；

对来自多种模态的未标记的输入数据进行编码以形成联合表示；

使用自适应分类算法对所述联合表示进行分类，以从所述联合表示中生成标记数据；

比较预标记数据集中的预标记数据和所述标记数据，并输出比较数据；

根据所述比较数据调整所述自适应分类算法；

重复所述方法的上述步骤，直到所述比较数据达到预先确定的阈值，表明无需对所述自适应分类算法进行进一步调整。

11.根据权利要求1所述的一种为医学或临床数据训练分类器的方法，其中，由多个连接的和/或配对的编码器执行对来自多种模态的未标记输入数据进行编码以形成所述联合表示的步骤。

12.根据权利要求1或2所述的一种为医学或临床数据训练分类器的方法，其中，所述输入数据包括来自多种来源的数据。

13.根据任何前述权利要求所述的一种为医学或临床数据训练分类器的方法，其中，接收两种模态的输入数据。

14.根据任何前述权利要求所述的一种为医学或临床数据训练分类器的方法，其中，所述未标记的输入数据以一个或多个医学图像的形式存在。

15.根据任何前述权利要求所述的一种为医学或临床数据训练分类器的方法，其中，所述未标记的输入数据以多个医学图像的形式存在。

16.根据权利要求6所述的一种为医学或临床数据训练分类器的方法，其中，所述多个医学图像是相关的。