[发明专利]一种基于多网络融合的医疗影像报告生成方法

权利要求书

1.一种基于多网络融合的医疗影像报告生成方法，其特征在于；采用多深度神经网络模型融合的并行训练技术，此外，提出影像信息自适应聚焦技术，基于自适应注意力机制实现多网络特征的融合，利用经过聚焦编码后的医疗影像病理信息，研究跨媒体信息编解码技术，结合基于Seq2Seq的循环神经网络解码模型以及基于模板的报告生成技术，构建医疗影像文本报告生成流程；具体执行过程如下；

步骤1，图像数据处理，包括步骤1.1调整图像大小；步骤1.2数据集增强；

步骤2，文本报告数据处理，包括步骤2.1造影报告预处理；步骤2.2眼科专用名词分词；步骤2.3医用专业名词清洗；步骤2.4标签生成；

步骤3，针对异构眼底造影图像的多CNN网络并行训练，包括步骤3.1多CNN网络并行训练；步骤3.2眼底造影图像自适应聚焦融合；

步骤4，初步眼底造影报告的生成，包括步骤4.1基于模板的报告生成；步骤4.2基于Seq2Seq的初步报告生成；

步骤5，最终眼底造影报告的生成；

步骤6，数据自迭代更新；

步骤2文本报告数据处理；预处理包括；

步骤2.1造影报告预处理；先对文本报告进行以下预处理：（1）删除文本报告中的空格；（2）删除或更正文本报告中乱用、无用的符号；（3）调用错别字检测接口对文本报告进行错别字检测并更正；

步骤2.2眼科专用名词分词；在文本报告格式基本统一，进行了错别字的纠正后，针对眼科设计医用专业名词库，在已有中文词库中加入该眼科专用名词库，并调用更新后的词库对文本进行分词；基于初次分词结果对结果中分割错误的词汇进行处理，将错误分割词汇更新至已有词库中，再次分词后得到较为准确的眼科专用名词分词结果；

步骤2.3医用专业名词清洗；将分词结果中的同义词汇和缩写词汇替换成一个统一的表达；此外，针对医疗领域设计特定的停用词表，并将分词结果中的停用词删除；

步骤2.4标签生成；调用Word2Vec模型对经过分词和清洗后的文本结果进行特征提取，将每一个词映射成一个向量，作为图像数据在分类网络中训练时的标签；

步骤3针对异构眼底造影图像的多CNN网络并行训练；

步骤3.1多CNN网络并行训练；异构眼底影像数据来源多样、格式多样，基于此构建多网络融合的医疗影像分析框架；框架采用VGG-Net、DenseNet和ResNet经过充分预训练的深度神经网络作为基础，基于迁移学习的思想，将经过预处理的图像数据及文本报告数据输入分类网络中进行fine-tuning并行训练调整，在保证准确性的同时增强模型鲁棒性，最大程度地提升模型提取影像各类特征信息的能力；

步骤3.2眼底造影图像自适应聚焦融合；对多源眼底影像信息所关注的病灶信息存在差异的问题，采用基于注意力机制的方法，通过引入可学习参数和批次非线性激活，实现眼底影像自适应聚焦融合，对影像特征信息进行筛选，提取出当前造影图像中需要重点关注的区域和病灶信息，再用于生成对应的医疗影像报告，提高信息的准确性和模型可用性。

2.根据权利要求1所述一种基于多网络融合的医疗影像报告生成方法，其特征在于；步骤1图像数据处理；眼底造影图像包括FA、BAF以及IR不同格式，不同医疗设备采集的图像尺寸也各有不同，故需要对图像数据集进行统一的预处理；

步骤1.1调整图像大小；由于不同医疗设备采集的造影图像之间存在尺寸差异，同时为了平衡GPU的处理性能与造影图像特征的复杂性，将所有造影图像大小调整为256×256；

步骤1.2数据集增强；医疗图像数据集中的图像数量一般较少，同时为了防止训练过程中出现过拟合现象，在网络训练过程中采用以下方法进行数据增强：随机水平翻转、随机垂直翻转、在0-30度的范围内随机旋转。