[发明专利]通过对象检测定位的医学图像的三维对象分割

说明书

本公开涉及使用深度学习网络来分割医学图像内的对象的技术，所述深度学习网络基于衍生对比度机制通过对象检测进行定位。特别地，本发明的方面涉及定位具有第一特征的第一医学图像内的目的对象、将所述目的对象的边界框或分割掩膜投影到具有第二特征的第二医学图像上以限定所述第二医学图像的一部分以及将所述第二医学图像的所述部分输入深度学习模型中，所述深度学习模型被配置为使用能够分割所述第二医学图像的所述部分并且生成围绕所述目的对象的分割边界的加权损失函数的检测器。所述分割边界可用于计算所述目的对象的体积，以用于确定受试者的诊断和/或预后。

相关申请的交叉引用

本申请要求2019年8月14日提交的美国临时申请号62/886,844的优先权和权益，其内容出于所有目的以引用方式全文并入本文。

技术领域

本公开涉及医学图像的自动化对象分割，并且特别地涉及使用深度学习网络分割医学图像内的对象的技术，该深度学习网络基于衍生对比度机制通过对象检测进行定位。

背景技术

计算机视觉涉及使用数字图像和视频来推断出对这些图像和视频中的内容的一些理解。对象识别与计算机视觉相关联，是指涉及识别图像帧中存在的对象的一组相关的计算机视觉任务。这些任务包括图像分类、对象定位、对象检测和对象分割。图像分类涉及预测图像帧中的一个或多个对象的类别。对象定位是指识别图像帧中一个或多个对象的位置，并且在其范围周围绘制边界框。对象检测将这两种任务组合，定位并且分类图像帧中的一个或多个对象。对象分割涉及突出显示所定位或检测的对象而不是粗边界框的特定像素(生成掩码)。对象识别技术通常分为基于机器学习的方法或基于深度学习的方法。对于基于机器学习的对象定位和检测方法，图像内的特征最初使用特征描述符诸如Haar样特征、尺度不变特征变换或方向梯度直方图(HOG)来定义，然后使用诸如支持向量机(SVM)等技术基于该特征描述符来检测目的对象。另一方面，深度学习技术能够在缺少明确定义的特征的情况下执行端到端对象检测和分割，并且通常基于卷积神经网络(CNN)，诸如基于区域的网络(R-CNN、Fast R-CNN、Faster R-CNN和级联R-CNN)。

发明内容

在一些实施例中，提供了一种用于分割医学图像内的对象的计算机实现的方法。该方法包括：获得受试者的医学图像，该医学图像包括具有第一特征的第一图像和具有第二特征的第二图像，其中该医学图像使用一种或多种医学成像方式生成；使用定位模型将第一图像内的对象定位并且分类为多个对象类别，其中该分类将该第一图像的像素或体素的集合分配至所述多个对象类别中的一个或多个中；使用定位模型，基于分配有所述多个对象类别中的对象类别的像素或体素的集合来确定用于第一图像内的目的对象的边界框或分割掩膜；将边界框或分割掩膜转移到第二图像上，以限定该第二图像的包括目的对象的部分；将第二图像的部分输入三维神经网络模型中，该三维神经网络模型被构建用于使用加权损失函数进行体积分割；使用三维神经网络模型生成围绕目的对象的估计的分割边界；以及使用三维神经网络输出第二图像的具有围绕目的对象的估计的分割边界的部分。

在一些实施例中，所述一种或多种医学成像方式包括第一医学成像方式以及与该第一医学成像方式不同的第二医学成像方式，并且其中第一图像由第一医学成像方式生成，并且第二图像由第二医学成像方式生成。

在一些实施例中，所述一种或多种医学成像方式包括第一医学成像方式以及与该第一医学成像方式相同的第二医学成像方式，并且其中第一图像由第一医学成像方式生成，并且第二图像由第二医学成像方式生成。

在一些实施例中，第一图像为第一类型的图像并且第二图像为第二类型的图像，并且其中第一类型的图像与第二类型的图像不同。

在一些实施例中，第一图像为第一类型的图像并且第二图像为第二类型的图像，并且其中第一类型的图像与第二类型的图像相同。

在一些实施例中，第一特征与第二特征不同。

在一些实施例中，第一特征与第二特征相同。