[发明专利]一种基于细粒度分类的耳镜图像辅助诊断方法

说明书

本发明公开了一种基于细粒度分类的耳镜图像辅助诊断方法，所述辅助诊断方法如下：输入图像，使用全局分类器，获得全局分类结果，以及显示主体区域的显著性图；使用显著性图，通过局部选择器，选择k张病灶所在的局部图像，并将其输入局部分类器，获得每张局部图像对应的分类结果，求平均后即为局部分类结果；将两个分类结果平均，即得到对该图像的最终诊断结果；本发明仅要求训练集中的图像有类别标签的标注，不要求有定位信息的标注，相比强监督的细粒度分类方法简化了数据收集与标注过程；本发明同时融合了全局信息与局部信息，能够处理更细粒度的特征，相对直接使用通用卷积神经网络而言，对耳镜图像有更好的分类性能。

技术领域

本发明属于计算机视觉及医学图像辅助诊断技术领域，以融合不同尺度的信息为出发点，具体涉及一种基于细粒度分类的耳镜图像辅助诊断方法。

背景技术

细粒度图像分类的目标为区分一个基本类别下的众多子类，在现有的实践中，包括区分不同种类的鸟，不同型号的汽车、飞机等。为了能够区分外观相近的子类，其关键在于找到具有判别力的局部信息。传统方法上一般需要使用人工标注的特征点辅助寻找这些定位信息，例如人工对鸟类头部、翅膀以及尾部标注出关键点，对数据标注人员的要求较高。已有的公知方法中，也有致力于在弱监督条件下能够寻找出具有关键信息的局部图像的方法，如《两级注意模型在深度卷积神经网络细粒度图像分类中的应用》提出的两级注意力方法，此方法可以在预训练模型的帮助下筛选输入图像的主体部分，并提取出多个关键部位，在聚类后分别输入到深度卷积神经网络中提取特征，拼接后使用支持向量机获得局部分类结果，最后将局部分类结果与使用整张图片获得的全局结果融合，可以提高分类性能。此公知方法的优点在于框架简单而有效，但要求有一个包含目标数据集的预训练模型，大幅度限制了它的使用范围。如果应用的目标领域不在ImageNet的1000种类别之中，将无法筛选输入图像的主体部分。

基于医学图像的辅助诊断与细粒度分类的现有实践相似，都要求根据细微的局部差别区分不同的疾病子类，例如使用耳镜图像区分慢性化脓性中耳炎的活动期与静止期。在使用耳镜图像辅助诊断的现有公知方法中，也使用了关键点定位技术，如迈伯勒的《发展中国家中耳炎的鼓膜影像诊断分析》，首先使用人工提取的特征方法定位到锤骨以及鼓膜上，使用人工定义的测量方法获得每个部位的特征数据，再使用决策树分类获得诊断结果，但人工选择的特征由于不一定是最适合分类的，存在性能和鲁棒性的问题。因此在医学图像辅助诊断中也引入了深度学习方法，是用深度卷积神经网络在训练集上仅提供类别标签，训练后的模型在测试集上即有良好的性能，免去了人工调整与设计的局限性，但在特征提取及分类方面，现有的公知方法并没有实现弱监督地利用局部信息，即在仅提供类别标签的情况下，自动识别关键部位，提取局部特征，以提高分类的准确率。

为了在仅提供类别标签的情况下，自动识别关键部位，提取局部信息与全局信息融合，提高分类的准确率为此我们提出一种基于细粒度分类的耳镜图像辅助诊断方法。

发明内容

本发明的目的在于提供一种基于细粒度分类的耳镜图像辅助诊断方法，在仅提供类别标签的情况下，自动识别关键部位，提取局部信息与全局信息融合，提高分类的准确率。

为实现上述目的，本发明提供如下技术方案：一种基于细粒度分类的耳镜图像辅助诊断方法，所述辅助诊断方法如下：

步骤一：输入图像，使用全局分类器，获得全局分类结果，以及显示主体区域的显著性图；

步骤二：使用显著性图，通过局部选择器，选择k张病灶所在的局部图像，并将其输入局部分类器，获得每张局部图像对应的分类结果，求平均后即为局部分类结果；

步骤三：将两个分类结果平均，即得到对该图像的最终诊断结果。

作为本发明的一种优选的技术方案，所述全局分类器为使用训练集的整张图像与对应的类别标签训练所得的卷积神经网络。