[发明专利]一种融合深度多示例学习和包间相似性的乳腺癌检测方法

权利要求书

1.一种融合深度多示例学习和包间相似性的乳腺癌检测方法，其特征在于该方法包括如下步骤：

第1、基础网络的构建：

第1.1、使用一些常见的神经网络提取示例特征；

第1.2、利用注意力机制从多角度重构包的表示；

第1.3、聚合包中示例形成包级表示并对包类别进行预测；

第2、主干网络的构建：

第2.1、提取由基础网络习得的重构包作为参考包；

第2.2、计算目标包与所有参考包的相似性；

第2.3、将相似性矩阵送入通道注意力模块；

第2.4、将通道注意力模块的输出送入空间注意力模块；

第2.5、将空间注意力模块的输出送入分类器进行分类判断；

将患者的HE图像分割为不同块，然后将整张图像视为包，图像块视为包中示例，示例的类别未知，但包的类别已知，已由专业的医生标记好，最后利用深度多示例学习技术完成特征的提取和图像的分类。

2.如权利要求1所述的融合深度多示例学习和包间相似性的乳腺癌检测方法，其特征在于，步骤第1.1中构建了基础网络，采用全连接层或卷积层这些常用的神经网络提取示例的抽象特征。

3.如权利要求1所述的融合深度多示例学习和包间相似性的乳腺癌检测方法，其特征在于，步骤第1.2中基于注意力机制的包重构方法如下：利用多个不同查询向量对原始包进行查询，产生示例权重并对所有示例进行加权平均，将原始包重构为由平均示例所构成的新包，假设X'_i为新包，则上述过程可描述为：

其中softmax和tanh为激活函数，V和W为可学习参数。

4.如权利要求1所述的融合深度多示例学习和包间相似性的乳腺癌检测方法，其特征在于，步骤第1.3中聚合包中示例并预测包类别的方法如下：再次应用注意力机制并采用单个查询向量，将重构包中的所有示例聚合为一个单特征向量，即包级表示，进而将该包级表示送入分类器获得包的分类结果，则这一过程可形式化为：

P(X_i)＝f(AttPooling₂(X_i))，

其中P(X_i)是分类器f对包X_i的预测值。

5.如权利要求1所述的融合深度多示例学习和包间相似性的乳腺癌检测方法，其特征在于，步骤第2.1中提取经由基础网络习得的重构包并将其作为参考包，这些参考包用于计算与目标包对应的相似性矩阵。

6.如权利要求1所述的融合深度多示例学习和包间相似性的乳腺癌检测方法，其特征在于，步骤第2.2中为了更好地计算目标包与参考包之间的相似性，对目标包使用新的特征提取模块，用新的目标包参与相似性运算，假设目标包为X_T，参考包为则X_T与所有参考包之间的相似性可用矩阵来表示，其中是X_T与之间的相似性矩阵，由个示例间的内积结果构成。

7.如权利要求1所述的融合深度多示例学习和包间相似性的乳腺癌检测方法，其特征在于，步骤第2.3中构造通道注意力模块，为不同的相似性矩阵分配不同的权重，以满足不同参考包对目标包有不同影响这一特点，增强模型的可解释性，首先对每个通道上的相似性矩阵进行全局平均池化得到通道的代表值，然后将所有代表值送入由两个卷积层所构成的通道注意力模块获得通道权重，整个过程可描述为：

S＝Conv2(Conv1(GlobalPooling((S))))·S，

其中两个卷积层的激活函数分别采用ReLU和Sigmoid。