[发明专利]用于对免疫疗法和放射疗法的分割、结果预测和纵向应答监测的多模态、多分辨率深度学习神经网络

权利要求书

1.一种使用多分辨率残余神经网络分割生物医学图像的方法，其包含：

通过具有一个或多个处理器的计算装置识别从断层摄影生物医学成像扫描得到的初始断层摄影生物医学图像，所述初始断层摄影生物医学图像具有第一图像分辨率；

通过所述计算装置将用于生物医学图像的分割模型应用于所述初始断层摄影生物医学图像，所述分割模型包含多个残余层，所述分割模型包含：

第一残余层，以使用所述初始断层摄影生物医学图像和来自后续残余层的特征映射来维持第一残余流，所述第一残余流携载第一多个特征映射，所述第一多个特征映射各自具有所述第一图像分辨率；

第二残余层，以使用所述第一残余流的所述第一多个特征映射的子集和来自连续残余层的特征映射来维持第二残余流，所述第二残余流携载待馈送到所述第一残余流中的第二多个特征映射，所述第二多个特征映射各自具有低于所述第一图像分辨率的第二图像分辨率；以及

第三残余层，以使用来自所述第一残余流或所述第二残余流中的至少一个的特征映射的子集来维持第三残余流，所述第三残余流携载待馈送到所述第一残余流和所述第二残余流中的至少一个中的第三多个特征映射，所述第三多个特征映射各自具有低于所述第一图像分辨率和所述第二图像分辨率的第三图像分辨率，以及

由所述计算装置使用来自所述分割模型的所述第一残余层的输出来生成分割的断层摄影生物医学图像。

2.根据权利要求1所述的方法，其进一步包含：

通过所述计算装置识别标记的断层摄影生物医学图像用于训练所述分割模型；

通过所述计算装置确定所述标记的断层摄影生物医学图像与所述分割的断层摄影生物医学图像之间的损失度量，所述损失度量指示所述标记的断层摄影生物医学图像与所述分割的断层摄影生物医学图像之间的至少一个差异；以及

由所述计算装置基于所述损失度量修改所述分割模型的至少一个参数。

3.根据权利要求1所述的方法，其中，识别所述初始断层摄影生物医学图像进一步包含识别第一模态的初始断层摄影生物医学图像；并且所述方法进一步包含：

由所述计算装置使用训练数据来训练所述分割模型，所述训练数据包括所述第一模态和不同于所述第一模态的第二模态的多个断层摄影生物医学图像。

4.根据权利要求1所述的方法，其进一步包含：

由所述计算装置针对从样本断层摄影生物医学图像得到的每个残余层识别多个样本特征映射，用于训练所述分割模型；

由所述计算装置针对所述分割模型的每个残余层确定对应的多个特征映射与对应的多个样本特征映射之间的损失度量；以及

由所述计算装置基于所述残余层的所述损失度量针对所述分割模型的每个残余层修改所述残余层的至少一个参数。

5.根据权利要求1所述的方法，其中，应用所述分割模型进一步包含应用包含池化算子的所述分割模型，以根据池化运算从所述多个残余层中的一个针对所述多个残余层中的另一个选择特征映射的子集。

所述第三残余层使用来自所述第二残余流的特征映射的子集来维持所述第三残余流，所述第三残余流携载待馈送到所述第一残余流和所述第二残余流两者中的所述第三多个特征映射。

6.根据权利要求1所述的方法，其中，应用所述分割模型进一步包含应用包含以下的分割模型：

所述第一残余层，其包含一组残余单元、一组聚合器算子和卷积算子，以处理由所述第一残余流携载的所述第一多个特征映射，以及所述第二多个特征映射或所述第三多个特征映射中的至少一个；

所述第二残余层，其包含一组残余连接单元和一组聚合器算子，以处理由所述第二残余流携载的所述第二多个特征映射、来自所述第一残余流的所述第一多个特征映射和来自所述第三残余流的所述第三多个特征映射；

所述第三残余层，其包含一组残余连接单元和一组聚合器算子，以处理由所述第三残余流携载的所述第三多个特征映射，以及来自所述第一残余流的所述第一多个特征映射和来自所述第二残余流的所述第二多个特征映射中的至少一个。