[发明专利]面向生物医学文献的跨模态图像模式识别方法

说明书

一种面向生物医学文献的跨模态图像模式识别方法，属于图像识别和自然语言处理领域，用以解决医学文献中跨模态图像识别问题，技术要点包括：利用预先训练的跨模态复合图像探测模型对图像和文本进行处理，判断待识别图像是否为复合图像；利用预先训练的跨模态复合图像多标签分类模型对图像和文本进行处理，以输出复合图像子图的生物医学模式类别；利用预先训练的跨模态简单图像模式分类模型对图像和文本进行处理，以输出简单图像的生物医学模式类别，效果是：有效地完成生物医学文献中图像模式识别任务，充分利用通用领域和生物医学领域资源改善识别的性能，降低人力和时间成本。

技术领域

本发明涉及图像识别和自然语言处理领域，尤其涉及一种面向生物医学文献的跨模态图像模式识别方法。

背景技术

随着互联网的发展，数字化生物医学文献的数量与日俱增，全球用户可以通过检索文献，掌握自己领域内的最新动态，做出新的发明或发现。数字医疗影像和医学数据重绘的示意图，作为生物医学文献的重要组成部分，对医学研究和教育，具有不可或缺的作用。

利用大量现存医学术语资源，如MeSH、IRMA和RadLex等，为医学概念分类，然后结合医学领域本体知识和图像低级视觉特征，将概念影射到不同的生物医学图像类别，进而提出一种精炼的层次化的生物医学图像分类法，能够清楚将生物医学文献中不同外观和语义的图像，划分为不同的生物医学模式。

要建立针对生物医学领域的图像模式识别算法，首先应该了解该领域的特点。第一，在生物医学文献中，有40％以上的图像属于复合图像，为了有效利用丰富的生物医学图像资源，如果首先探测复合图像，再针对复合图像和简单图像分别进行模式识别，将会对生物医学文献的图像模式识别性能产生积极作用。第二，为生物医学文献的图像往往会配备规范的说明文本，对图像进行解释说明，在说明文本中，也蕴含着丰富的生物医学模式信息，如果结合图像内容和文本信息，将有助于提高生物医学文献的图像模式识别性能。第三，生物医学领域的数据标注成本和数据特点，影响了训练数据的规模和质量，限制了深度卷积神经网络优势作用的发挥，而通用领域已有大规模(百万级)的已标注数据，生物医学领域也存在小规模的已标注数据，如果综合利用通用领域和生物医学领域的已标注数据，将会对生物医学文献的图像模式识别性能带来巨大的提升。

生物医学文献的图像模式识别算法是一系列对生物医学文献的图像进行生物医学模式分类算法的总称，它的主要特点是应用机器学习技术解决图像和文本分类问题。在文献检索系统中，利用生物医学图像模式产生元数据，提供有效归档文献中图像的手段，可以辅助科研工作者或教育者更快理解医学主题，更准确地获取感兴趣的文献。

然而，传统的生物医学文献的图像模式识别技术，根据专家的经验，人工拟合特征，训练分类器，识别图像的生物医学模式。这种特征工程的方法，对词典和规则依赖性强，而生物医学图像模式差异性有的显著、有的细微，面对多样性样本泛化性能差，很难取得较好的分类性能。

发明内容

本发明的目的是提供一种能更准确识别图像的生物医学模式，提供更有效的归档文献中图像的手段，更好地满足用户检索信息需求的生物医学文献图像模式识别方法。

本发明解决现有技术问题所采用的技术方案：一种面向生物医学文献的图像模式识别方法，包括以下离线训练训练阶段和在线识别阶段，其中，离线训练阶段包括以下步骤：

R1、训练跨模态复合图像探测模型：

搭建基于图像内容的复合图像探测模型。视觉深度卷积神经网络包含四个具有不同数量卷积核的卷积层，用于捕获图像多种多样的局部特征，统一采用小尺寸卷积核。第二、四个卷积层后面各有一池化层，依次从卷积输出小范围内选择最大值。将池化后的多维数据一维化后，连接两个全连接层。