[发明专利]基于乳腺结构化报告的智能化诊断评估方法

说明书

本发明公开了一种基于乳腺结构化报告的智能化诊断评估方法，它包括用选择性多模态长短期神经网络模型，在放射信息系统的服务器端和用户终端上实现接收乳腺结构化报告文本，对文本进行分词编码，计算医学影像的图像数据和分词编码得到的输入文本关键信息的相似度，通过阈值比对来评估诊断质量并在存在问题是向用户发出提醒。本发明得到的基于乳腺结构化报告的智能化诊断评估方法，能够对图像病灶位置信息提取，并和结构化报告中的书写内容进行匹配，筛查低于阈值的报告和书写信息，并提醒影像诊断医生复查，从而起到了对报告中诊断质量的监控、评估作用，最终达到减少影像科医生工作量、提高诊断质量、降低误诊率的效果。

技术领域

本发明涉及医疗服务领域，特别是一种基于乳腺结构化报告的智能化诊断评估方法。

背景技术

当前，医疗行业逐渐向智能化、自动化方向前进，医疗机构使用放射信息系统实现患者的预约、检查、报告、发片的业务流程。其中在报告环节，为了提高放射影像报告的内容完整度、用语准确度、报告实用性，经过专家共识开发了结构化报告这种统一术语和形式的报告格式。但是在编写结构化报告时，报告内容仍然需要依赖医生根据影像所见和发现进行内容输入，由于医生个人水平和经验等原因，难免发生漏诊或误诊的情况，存在耽误患者病情的可能。在目前的影像诊断流程中为了避免漏诊或误诊，规定采用人工复审的方式，对已完成编写的初步报告进行审核，尽量减少漏误诊的发生概率。

目前，随着人工智能迅猛发展，图像文字匹配技术得到长足进步，在CVPR论文“Instance-aware Image and Sentence Matching with Selective Multimodal LSTM”中，提出了以选择性多模态长短期神经网络模型匹配图文的技术方法，为实现智能化评估诊断报告提供了可能。

发明内容

本发明的目的是为了解决上述现有技术的不足而提供一种能够帮助医生在审核初步报告时提高工作效率和准确性，减轻医生的工作量的基于乳腺结构化报告的智能化诊断评估方法。

为了实现上述目的，本发明所设计的基于乳腺结构化报告的智能化诊断评估方法，它包括使用选择性多模态长短期神经网络模型(sm-LSTM)，在放射信息系统(RIS)的服务器端和用户终端上实现下述操作步骤：

a.用户在用户终端输入由文本组成的乳腺结构化报告，该乳腺结构化报告为用户依据患者检查生成的医学影像而编写的内容，医学影像存储在PACS系统的服务器上，其中乳腺结构化报告的文本具备统一的术语和形式；

b.乳腺结构化报告的文本被传输至放射信息系统的服务器，服务器采用基于病灶术语库的分词算法对文本信息进行分割编码，得到输入文本关键信息；

c.放射信息系统服务器端程序自动调取乳腺结构化报告编写时所依据的医学影像；

d.放射信息系统服务器端程序将医学影像的图像数据和依照分词前语句顺序排列的输入文本关键信息输入选择性多模态长短期神经网络模型中，计算各输入文本关键信息与医学影像的图像数据的相似度；

e.将计算得到的相似度与放射信息系统服务器端程序中预设的阈值相比较，当相似度低于阈值时，则通过用户终端提醒用户步骤a中输入的乳腺结构化报告存在问题。

为了适应不同医院的使用需求，方便接收并设定医院自身使用的词库，步骤b中基于病灶术语库的分词算法采用jieba作为中文分词词库，分词词库中设定有以用户编写的医学术语为内容的自定义医学词库。

为了实现对文字和图像的有效匹配和检查，所述选择性多模态长短期神经网络模型包括有数据对象信息提取模块、感知显著性预测模块以及相似度计算模块，所述数据对象信息提取模块包括双向长短期记忆网络(BLSTM)和卷积神经网络(CNN)，所述感知显著性模块内设有通过多层感知机(MLP)实现的注意力机制，所述相似度计算模块通过局部相似度计算多层感知机、长短期记忆网络(LSTM)以及相似度评分感知机实现。