[发明专利]一种医疗图文数据互检方法、装置、设备及可读存储介质

说明书

本发明提出一种医疗图文数据互检方法，包括：将图文数据中的文本信息按照预订方式进行多级分类，并将分类后的文本信息分别通过第一神经网络模型按照分类关系以级联的方式生成文本特征；将图文数据中的图像信息以图像序列的方式通过第二神经网络模型生成图像特征；根据文本特征和图像特征基于预订的损失函数迭代训练生成图文数据互检模型；通过图文数据互检模型对输入的图文数据中的文本信息和/或图像信息进行检索对应的文本信息和/或图像信息。通过本发明提出的多个损失函数基于文本特征和图像特征计算训练图文数据互检模型。实现对医疗图文数据准确快速的互检。

技术领域

本发明属于计算机领域，具体涉及一种图文数据互检方法、装置、设备及可读存储介质。

背景技术

随着医疗行业信息化水平的不断提高，医学影像数据量日益膨胀，行业内普遍现状是对于这些具有多种模态的医学图像数据一直缺乏有效的管理和检索方式，多种模态的数据检索成为了亟需解决的问题。

现有的医学检索任务主要面向单模态检索。单模态检索只能查询同类模态的信息，如文本检索文本、图像检索图像。跨模态检索则是指使用一种模态的样本来检索与之语义相似的另一种模态的样本，比如图像检索文本、文本检索图像。

本发明跨域异质主要体现在：图像数据处在不同的空间当中，属于异质数据。如果检索正确需要检索方法有跨域检索的功能，实现模态之间的对齐和排序。

相比于单模态数据，跨模态检索不仅要对模态数据之间的关系进行建模，而且还需对不同模态之间的相关性进行建模，从而实现不同模态之间跨域检索。跨模态检索具有较强的灵活性，应用场景广泛和用户需求强烈，同时也是跨模态机器学习重要研究内容，具有十分重要的学术价值和意义。

例如，医学信息化的蓬勃发展，各类医院信息系统越来越完善，收集到了种类丰富的医学数据。医学数据慢慢成为继自然数据集后，又一特殊的跨模态数据类型。一般放射学科医生通过经验并参考他们之前见过的病例特征直接通过肉眼观察进行诊断。由于数据量大、经验有限等原因，不可避免会出现误诊、漏诊等情况，对患者治疗的准确性留下很大的隐患。因此医生如果能快速的查询医学数据库中数据相似的信息来进行辅助诊断，将减少误诊情况，提高工作效率。

发明内容

为解决以上问题，本发明提出一种医疗图文数据互检方法，包括：

将图文数据中的文本信息按照预订方式进行多级分类，并将分类后的文本信息分别通过第一神经网络模型按照分类关系以级联的方式生成文本特征；

将图文数据中的图像信息以图像序列的方式通过第二神经网络模型生成图像特征；

根据所述文本特征和图像特征基于预订的损失函数迭代训练生成图文数据互检模型；

通过所述图文数据互检模型对输入的图文数据中的文本信息和/或图像信息进行检索对应的文本信息和/或图像信息。

在本发明的一些实施方式中，将图文数据中的文本信息按照预订方式进行多级分类，并将分类后的文本信息分别通过第一神经网络模型按照分类关系以级联的方式生成文本特征包括：

将所述文本信息按照文本结构类型进行分类，并将分类后的每一个结构文本信息通过所述第一神经网络模型计算所述结构文本信息的特征向量。

在本发明的一些实施方式中，将所述文本信息按照文本结构类型进行分类包括：

将所述文本信息按照文本结构和/或时间类型进行分类。

在本发明的一些实施方式中，将图文数据中的文本信息按照预订方式进行多级分类，并将分类后的文本信息分别通过第一神经网络模型按照分类关系以级联的方式生成文本特征还包括：

将所述分类后的结构文本信息中的文本内容，以语句的先后出现次数进行排序，并将排序后的每一个语句作为参数输入到所述第一神经网络模型计算所述结构文本信息的文本特征。