[发明专利]基于多模态超声影像自监督学习的乳腺微小癌分析方法

权利要求书

1.一种基于多模态超声影像自监督学习的乳腺微小癌分析方法，其特征在于：包括以下步骤：

步骤一，对乳腺微小癌多模态超声影像进行数据采集，构成数据库，并确立金标准；

步骤二，通过1cm以上乳腺肿块临床图像建立自监督深度学习模型；

步骤三，通过自监督深度学习模型对处理后的乳腺微小癌图像数据集进行训练，得到微小癌识别模型；

步骤四，以微小癌识别为基础进行三维模型重建；

步骤五，通过重建的三维模型分析微血管与癌症的关系。

2.根据权利要求1所述的基于多模态超声影像自监督学习的乳腺微小癌分析方法，其特征在于：步骤一中，对乳腺微小肿块进行超声多模态图像的采集，包括常规超声里的2D、CDFI和PW，超声造影及超声造影前后的微血流3D成像，所有图像分别留存静态及动态图；收集后，由超声临床工作经验5年以上的医师进行人工标记，以病理结果为金标准，将微小癌病灶区域标注并存储。

3.根据权利要求2所述的基于多模态超声影像自监督学习的乳腺微小癌分析方法，其特征在于：步骤二中，将若干1cm以上乳腺临床图像通过自监督深度学习训练得到一个初步模型。

4.根据权利要求3所述的基于多模态超声影像自监督学习的乳腺微小癌分析方法，其特征在于：步骤三中，将1cm以下的微小癌临床图像按比例分为训练集及测试集，测试集保持独立；

通过初步模型在训练集上进行训练，采用自监督学习算法，挖掘训练集中数据各个部分的关系及特征，结合ModelEnsemble方法，把多个弱模型聚合成一个高准确率的模型。

5.根据权利要求4所述的基于多模态超声影像自监督学习的乳腺微小癌分析方法，其特征在于：步骤四中，在微小癌识别模型识别病变中，二维超声与病理信息进行融合，以此为基础使用对齐并融合微血流灌注及病理3D图像信息作为约束与指引，采用生成对抗网络，重新构建微血管及病变清晰3D结构。

6.根据权利要求5所述的基于多模态超声影像自监督学习的乳腺微小癌分析方法，其特征在于：依据得到3D结构数据，对超声微血管3D成像、肿瘤边界等分别进行定性、定量分析，并分析微血管环境的变化。

7.根据权利要求6所述的基于多模态超声影像自监督学习的乳腺微小癌分析方法，其特征在于：自监督深度学习模型在训练的时候随机选择两个图像patch，并通过深度网络提取两个patch的特征，从而分析两个patch之间的位置关系；在微小癌识别模型中，通过自监督学习分支预测所有patch之间的关系，并通过与自监督学习分支的权重共享，从而将图像patch内部的特征以及patch之间的关联特征挖掘，同时使用病理图像与超声图像进行训练，输入转换后的病理风格的超声图像。

8.根据权利要求1所述的基于多模态超声影像自监督学习的乳腺微小癌分析方法，其特征在于：采集的数据为多中心数据，通过生成对抗网络结构对多中心数据进行去除数据差异及超声转病理风格图像处理。