[发明专利]医学图像报告生成模型的训练方法及图像报告生成方法

说明书

本申请公开了一种医学图像报告生成模型的训练方法及图像报告生成方法，涉及人工智能技术领域。所述方法包括：通过视觉特征提取网络对样本医学图像进行视觉特征提取处理，得到视觉特征序列；在视觉特征序列的基础上，拼接图像类别标签和自学习标签，得到编码网络的输入信息；通过编码网络对输入信息进行编码处理，得到视觉编码特征向量、输出类别结果和输出任务结果；通过解码网络对视觉编码特征向量进行解码处理，得到输出图像报告；基于输出图像报告、输出类别结果和输出任务结果，计算模型损失并对模型参数进行调整。本申请提供了一种基于AI模型自动化生成更具准确性和可靠性的医学图像报告的技术方案。

技术领域

本申请实施例涉及人工智能技术领域，特别涉及一种医学图像报告生成模型的训练方法及图像报告生成方法。

背景技术

医学图像也称为医学影像，是指对人体或人体某部分以非侵入方式取得的内部组织图像。

目前，临床仍然采用人工方式进行医学图像阅览，并撰写相应的图像报告，这种方式会导致图像报告的生成效率较低，且对于资历较浅的医生而言，容易出现报告撰写不准确的问题。

发明内容

本申请实施例提供了一种医学图像报告生成模型的训练方法及图像报告生成方法，实现自动化生成具有较高准确性的医学图像报告。所述技术方案如下：

根据本申请实施例的一个方面，提供了一种医学图像报告生成模型的训练方法，所述医学图像报告生成模型包括视觉特征提取网络、编码网络和解码网络，所述方法包括：

获取样本医学图像；

通过所述视觉特征提取网络对所述样本医学图像进行视觉特征提取处理，得到所述样本医学图像的视觉特征序列；

在所述视觉特征序列的基础上，拼接图像类别标签和自学习标签，得到所述编码网络的输入信息；

通过所述编码网络对所述输入信息进行编码处理，得到所述视觉特征序列对应的视觉编码特征向量、所述图像类别标签对应的输出类别结果，以及所述自学习标签对应的输出任务结果；

通过所述解码网络对所述视觉编码特征向量进行解码处理，得到所述样本医学图像对应的输出图像报告；

基于所述输出图像报告、所述输出类别结果和所述输出任务结果，计算所述医学图像报告生成模型的总损失函数值，并根据所述总损失函数值对所述医学图像报告生成模型的参数进行调整。

根据本申请实施例的一个方面，提供了一种基于医学图像报告生成模型的图像报告生成方法，所述医学图像报告生成模型包括视觉特征提取网络、编码网络和解码网络，所述方法包括：

通过所述视觉特征提取网络对目标医学图像进行特征提取处理，得到所述目标医学图像的视觉特征序列；

在所述视觉特征序列的基础上，拼接图像类别标签和自学习标签，得到所述编码网络的输入信息；

通过所述编码网络对所述输入信息进行编码处理，得到所述视觉特征序列对应的视觉编码特征向量；

通过所述解码网络对所述视觉编码特征向量进行解码处理，得到所述目标医学图像对应的输出图像报告。

根据本申请实施例的一个方面，提供了一种医学图像报告生成模型的训练装置，所述医学图像报告生成模型包括视觉特征提取网络、编码网络和解码网络，所述装置包括：

样本获取模块，用于获取样本医学图像；

特征提取模块，用于通过所述视觉特征提取网络对所述样本医学图像进行视觉特征提取处理，得到所述样本医学图像的视觉特征序列；

信息拼接模块，用于在所述视觉特征序列的基础上，拼接图像类别标签和自学习标签，得到所述编码网络的输入信息；