[发明专利]基于乳腺结构化报告的智能化诊断评估方法

权利要求书

1.一种基于乳腺结构化报告的智能化诊断评估方法，它的特征是包括使用选择性多模态长短期神经网络模型，在放射信息系统的服务器端和用户终端上实现下述操作步骤：

a.用户在用户终端输入由文本组成的乳腺结构化报告，该乳腺结构化报告为用户依据患者检查生成的医学影像而编写的内容，医学影像存储在PACS系统的服务器上；

b.乳腺结构化报告的文本被传输至放射信息系统的服务器，服务器采用基于病灶术语库的分词算法对文本信息进行分割编码，得到输入文本关键信息；

c.放射信息系统服务器端程序自动调取乳腺结构化报告编写时所依据的医学影像；

d.放射信息系统服务器端程序将医学影像的图像数据和依照分词前语句顺序排列的输入文本关键信息输入选择性多模态长短期神经网络模型中，计算各输入文本关键信息与医学影像的图像数据的相似度；

e.将计算得到的相似度与放射信息系统服务器端程序中预设的阈值相比较，当相似度低于阈值时，则通过用户终端提醒用户步骤a中输入的乳腺结构化报告存在问题。

2.根据权利要求1所述的基于乳腺结构化报告的智能化诊断评估方法，其特征是步骤b中基于病灶术语库的分词算法采用jieba作为中文分词词库，分词词库中设定有以用户编写的医学术语为内容的自定义医学词库。

3.根据权利要求1或2所述的基于乳腺结构化报告的智能化诊断评估方法，其特征是所述选择性多模态长短期神经网络模型包括有数据对象信息提取模块、感知显著性预测模块以及相似度计算模块，所述数据对象信息提取模块包括双向长短期记忆网络和卷积神经网络，所述感知显著性模块内设有通过多层感知机实现的注意力机制，所述相似度计算模块通过局部相似度计算多层感知机、长短期记忆网络以及相似度评分感知机实现。

4.根据权利要求1或2所述的基于乳腺结构化报告的智能化诊断评估方法，其特征是选择性多模态长短期神经网络模型的采用过去检查生成的医学影像的图像数据和对应的乳腺结构化报告文本作为模型的训练集、测试集和验证集，将训练集、测试集和验证集的训练数据中的所述已有的乳腺图像结构化报告文本预先采用步骤b中基于病灶术语库的分词算法进行分词编码为训练用文本关键信息，同时将训练集中的图像数据与训练用文本关键信息数据中匹配和不匹配的数据比例设置为1:3，从而得到可以用于输入选择性多模态长短期神经网络模型的训练数据；将训练数据输入选择性多模态长短期神经网络模型后，计算得到图像数据与训练用文本关键信息的匹配度，通过反馈学习，在前述匹配度达到95％后停止对选择性多模态长短期神经网络模型的训练。

5.根据权利要求4所述的基于乳腺结构化报告的智能化诊断评估方法，其特征是对选择性多模态长短期神经网络模型的训练采用的GPU为Titan RTX 24G VRAM。

6.根据权利要求4所述的基于乳腺结构化报告的智能化诊断评估方法，其特征是所述基于病灶术语库的分词算法，其分词的最大长度设置为100，分词时文本不足的部分用数字0补齐。

7.根据权利要求4所述的基于乳腺结构化报告的智能化诊断评估方法，其特征是在停止对选择性多模态长短期神经网络模型的训练后，采用测试集的数据对模型进行测试。

8.根据权利要求1或2所述的基于乳腺结构化报告的智能化诊断评估方法，其特征是步骤e中所述阈值为0.9。

9.根据权利要求4所述的基于乳腺结构化报告的智能化诊断评估方法，其特征是服务器收到用户发出的误报信息，即选择性多模态长短期神经网络模型对输入文本关键信息和图像顺序的相似度计算有误时，服务器将导致误报的图像数据和输入文本关键信息添加到所述训练数据中，对选择性多模态长短期神经网络模型进行调整训练。