[发明专利]一种基于神经网络的头部医疗影像辅助判读报告生成方法

说明书

本发明涉及一种基于神经网络的头部医疗影像辅助判读结构化报告生成方法，所述方法能够全自动完成脑部影像的判读以及结构化报告的生成，大大降低了使用者的工作量，也可以人工介入修改病灶以提高精确性，其中判读过程是分阶段完成的，以保证每个阶段是可质控的，同时对不同影像类型，不同病种使用相应判读模型以及结构化报告，相比直接通过影像生成报告，目标更为明确，结果更准确也更有可解释性，而且，自动生成的报告更加规范与客观，可用于培养经验不足的医生；结构化报告使用Key/Value形式呈现并以JSON格式存储，使报告便于医生修改，而且轻量级数据格式便于储存和传输。

技术领域

本发明涉及计算机图像处理领域中的医疗影像分析，具体涉及一种基于神经网络的头部医疗影像辅助判读结构化报告生成方法。

背景技术

随着影像成像技术的发展，现代医疗影像如CT(Computed Tomography)，MR(Magnetic Resonance)已经广泛应用于各个医院，为疾病筛查与诊断提供越来越丰富的支持。放射科医生需要通过查看医疗影像，撰写影像报告来描述影像中相应区域的发现。影像报告的撰写需要对人体解剖、生理特征、影像分析技术、临床推断等有比较深入的了解，并且综合考虑各个因素，所以经验不足的医生往往需要经过漫长的培训才可以胜任。与此同时，影像报告的撰写十分费时且有医师的主观考量。尤其是头部医疗影像的报告撰写，面临着头部疾病种类繁琐、颅内功能区精细、病灶特征多变等诸多挑战。头部医疗影像报告的结构化与智能化能够很大程度上帮助减轻放射科医生的工作量以及阅片的疏漏。

近年来，以深度学习神经网络为代表的人工智能技经历了飞跃式的发展，在医学影像分析领域也取得了重大进展。有研究对尝试从图形描述方面入手，利用卷积神经网络(CNN，convolutional neural network)与循环神经网络(RNN)直接获得医学影像报告，但这些方法在复杂语义环境下表现往往不甚理想。更为主流的方法是利用卷积神经网络提取病灶特征，进行疾病的分类，分割后输入结构化报告再自动生成影像报告，这样报告的结果更为可信也更具有可解释性，同时也方便医生检查与修改。

现有方案主要由两种，第一种将此考虑为图像描述的任务[1,2]，利用CNN提取影像中病灶特征，然后利用注意力机制以及RNN对发现的病变进行详细的描述，以直接生成报告文本。第二种则通过CNN提取特征后[3]，对病变进行评估并将评估结果输出报告生成系统[4]。

首先，现有方法缺少对病灶的详细和准确的描述，CNN对一些全局特征的识别不是很理想。其次，报告的呈现方式十分单一，现有方法对不同模态、不同部位的影像适应性较差，通常需要对某特定模态、部位、病种单独训练一个模型。

[1]复旦大学，上海市第一人民医院.一种基于语义的医学影像报告模板生成方法:中国,CN109545302A[P].2019-03-29；

[2]东华大学.一种面向小样本的影像语义对齐结构:中国,CN110084297A[P].2019-08-02；

[3]首都医科大学附属北京同仁医院,北京天使软件技术有限公司.一种基于卷积神经网络生成结构化医学影像报告的方法:中国,CN108665950A[P].2018-10-16；

[4]包头市中心医院.一种心脏CT结构化报告系统:中国,CN109431529A[P].2019-03-08；

[5]LOWE D.Distinctive Image Features from Scale-InvariantKeypoints[J].International Journal of Computer Vision,2004,60(2):91-110；

[6]SUYKENS J,VANDEWALLE J.Least Squares Support VectorMachineClassifiers[J].Neural Processing Letters,1999,9(3):293-300；