[发明专利]使用放射学报告和医学图像的共同训练的半监督学习

说明书

一种训练机器学习(ML)图像分类器(14)以将图像(30)相应于标签集合进行分类的方法(100)，包括：通过将ML图像分类器应用于图像来从标签集合生成针对图像的基于图像的标签和针对基于图像的标签的基于图像的标签置信度值；通过将报告分类器(16)应用于对应的放射学报告，从标签集合生成用于图像的基于报告的标签和针对基于报告的标签的基于报告的标签置信度值；基于该基于图像的标签、该基于报告的标签、该基于图像的标签置信度值和该基于报告的标签置信度值选择图像集的训练子集；为训练子集的每个图像分配伪标签，伪标签是图像的基于图像的标签或基于报告的标签之一；以及至少使用所选择的训练子集和所分配的伪标签来训练ML图像分类器。

技术领域

以下一般涉及成像技术、图像标记技术、图像注释技术，放射学报告分析技术、基于图像的计算机辅助诊断(CADx)技术、人工智能(AI)技术、AI自学习技术和相关技术。

背景技术

机器学习(ML)算法在医学成像领域产生了影响。例如，ML算法可以被用于标识肿瘤或病变或其他病理相关的图像特征，从而提供用于生成治疗数据的基于图像的CADx系统；ML算法可以被用于检测图像伪影，以避免基于这种伪影的误诊，并用于放射科质量控制等。医学成像数据集的大小正在增长，因此潜在地提供了用于训练ML算法的基本数据库。然而，用于图像处理的ML算法的监督学习的主要挑战是缺少限制模型的可推广性的经注释的图像。利用大量容易获得的未标记的数据的方法可以提高模型的可推广性并减少标记工作。

为了利用大量未标记的图像，可以利用包括基于伪标签的半监督学习方法的自我训练方法。在自我训练中，在经标记的和未标记的数据集上训练模型。这种自我训练方法可以与大多数神经网络(NN)模型和其他ML算法的训练结合使用。在自我训练方法中，使用监督方法用并利用经标记的数据集来训练基线模型。然后，将初始经训练的模型应用于未标记的集合。针对图像，如果被分配到最可能类别的概率高于预定阈值，则将该图像添加到具有伪标签的经标记的集合中，该伪标签被分配作为具有最大预测概率的类别。在模型的下一轮(增量)训练中，该伪标签被用作真实标签。该过程重复固定次数的迭代，或直到对未标记的图像的预测不再可信为止。

然而，利用自我训练，模型不能校正其自身的错误，并且实际上自我训练可以放大错误。如果模型对未标记的数据的预测是可信的但错误的，则将错误的数据纳入到训练中，并且下一轮(增量)训练依赖于该错误并因此加强该错误，使得模型的错误被放大。

以下公开了克服这些和其他问题的某些改进。

发明内容

在一方面，一种非暂态计算机可读介质存储由至少一个电子处理器可执行的指令，以执行训练机器学习(ML)图像分类器来相应于标签集合对图像进行分类的方法，该方法使用未相应于标签集合被标记的图像集合和未相应于标签集合被标记的对应的放射学报告。该方法包括：通过将ML图像分类器应用于图像，从标签集合生成针对图像的基于图像的标签，以及生成针对基于图像的标签的基于图像的标签置信度值；通过将报告分类器应用于对应的放射学报告，从标签集合生成针对图像的基于报告的标签，以及生成针对基于报告的标签的基于报告的标签的置信度值；基于该基于图像的标签、基于报告的标签、基于图像的标签置信度值和基于报告的标签置信度值来选择图像集合的训练子集；为训练子集中的每个图像分配伪标签，该伪标签是针对该图像的基于图像的标签或基于报告的标签中的一个；以及至少使用所选择的训练子集和所分配的伪标签来训练ML图像分类器。