[发明专利]面向生物医学文献的跨模态图像模式识别方法

权利要求书

1.一种面向生物医学文献的跨模态图像模式识别方法，其特征在于，步骤包括

R1.训练跨模态复合图像探测模型；

R2.训练跨模态复合图像多标签分类模型；

R3.训练跨模态简单图像模式分类模型；

R4.获取至少一个生物医学文献中的待识别图像及其说明文本；

R5.利用预先训练的跨模态复合图像探测模型对图像和文本进行处理，判断待识别图像是否为复合图像；

R6.若R5的输出为复合图像，利用预先训练的跨模态复合图像多标签分类模型对图像和文本进行处理，以输出复合图像子图的生物医学模式类别；

R7.若R5的输出为简单图像，利用预先训练的跨模态简单图像模式分类模型对图像和文本进行处理，以输出简单图像的生物医学模式类别。

2.根据权利要求1所述的一种面向生物医学文献的跨模态图像模式识别方法，其特征在于，包括以下离线训练阶段和在线识别阶段，其中，离线训练阶段包括以下步骤：

R1、训练跨模态复合图像探测模型：

A1：首先，采用视觉深度卷积神经网络搭建基于图像内容的复合图像探测模型；

A2：其次，采用基于文本信息的卷积神经网络搭建文本复合图像探测模型，所述的卷积神经网络包括词嵌入层、卷积层、池化层、全连接层，首先，从大规模生物医学文献中，抽取图像说明文本，使用词向量训练工具，将所有说明文本中出现的单词处理简化为V维向量空间中的向量词典，根据训练集和测试集说明文本，生成嵌入层速查表词典；其次，在词嵌入层后面，连接一维卷积层，抽取输入序列的局部特征；然后，卷积层后面连接池化层，选择全局最大值操作，捕获最有用的局部特征，获得固定大小的全局特征向量；最后，连接两个全连接层；

A3：最后，搭建跨模态复合图像探测模型：使用已标注复合图像和简单图像及相关说明文本，从头训练视觉及文本两种模态的网络后，进行决策级融合，得到更符合样本真实类别的置信值；

R2、训练跨模态复合图像多标签分类模型：

A1：首先，采用基于视觉内容的极深卷积神经网络搭建复合图像多标签分类模型，所述的极深卷积神经网络，最后一层全连接层包含N个神经元，其激活函数为Sigmoid函数，用来预测N个标签类别的相关后验概率；

A2：其次，搭建基于文本信息的卷积神经网络模型，与R1中文本复合图像探测模型结构相似，不同之处是，最后一层全连接层包含N个神经元，其激活函数为Sigmoid函数，用来预测N种标签的相关后验概率；

A3：最后，搭建跨模态复合图像多标签分类模型，所述模型采用局部微调的方式，从自然图像异质迁移学习通用领域的一般特征，从生物医学简单图像同质迁移学习生物医学领域的专有特征，融合基于文本信息的一维卷积神经网络，识别复合图像的子图的生物医学模式类别，其中，融合视觉和文本模型时，采用全局择优法和均值法相结合的分步融合方式，为当前样本标定标签， 具体来说，首先依照阈值M，根据图像模型输出的后验概率，将高于阈值的标签加入到相关标签集；如果某样本的相关标签集为空，计算图像模型和文本模型输出的所有标签的概率平均值，取最大K个平均概率的标签为相关标签；

R3、训练跨模态简单图像模式分类模型：

A1：首先，搭建基于图像内容的简单图像模式分类模型，所述视觉模型集成具有显著多样性的若干子模型，包括D种深度差异较大的卷积神经网络；视觉集成模型的子模型采用不同的训练方式；首先，极深的深度卷积神经网络在归纳式迁移学习基础上完成训练；具体来说，使用通用领域的大规模自然图像训练网络后，使得模型对图像类型的输入能够收敛，以此为基础再从医学图像中学习领域专有特征，实现跨领域异质迁移学习；然后，对于稍浅的深度卷积神经网络，采用从头训练的方法，捕获更多的生物医学领域特征；

A2：其次，搭建基于文本信息的简单图像模式分类模型，所述文本模型采用卷积神经网络，与R2中复合图像多标签分类文本模型结构相似，最后一层全连接层包含N个神经元，不同之处是其激活函数为Softmax函数，用来预测N种标签的后验概率；

A3：最后，搭建跨模态简单图像模式分类模型，所述模型通过集成多种深度的卷积神经网络从图像内容中学习多样性的生物医学模式特征，采用局部微调的方式将自然图像的通用特征归纳式迁移学习到生物医学领域，融合基于文本信息的一维卷积神经网络，识别简单图像的生物医学模式类别，其中，融合视觉和文本模型时，采用决策级融合策略，具体来说，利用已标注简单图像训练网络后，通过投票系统合并子模型对每个模式的置信值，提高融合系统的置信度，进而确定输入样本的模式类别；

在线识别阶段包括以下步骤：

R4、获取至少一个生物医学文献中的待识别图像及其说明文本：

从生物医学文献中提取待识别的图像及其说明文本；

R5、利用预先训练的跨模态复合图像探测模型对图像和文本进行处理，判断待识别图像是否为复合图像：

将R4中获取的图像和说明文本，分别输入到R1的视觉和文本复合图像探测模型，得到两种模态的复合图像预测后验概率，计算概率向量平均值后，根据向量最高值元素位置，输出待识别图像为复合图像或者简单图像；

R6、利用预先训练的跨模态复合图像多标签分类模型对图像和文本进行处理，以输出复合图像子图的生物医学模式类别：

若R5的输出为复合图像，则将R4中获取的图像和文本，分别输入到R2的视觉和文本复合图像多标签分类模型，根据分段式融合策略，按照预测的后验概率向量和阈值M，输出相关生物医学模式类别集合；

R7、利用预先训练的跨模态简单图像模式分类模型对图像和文本进行处理，以输出简单图像的生物医学模式类别：

若R5的输出为简单图像，则将R4中获取的图像和文本，分别输入到R3的视觉和文本模式分类模型，得到两种模态的生物医学模式预测后验概率，计算概率向量的平均值后，根据向量最高值元素位置，输出生物医学模式类别。