[发明专利]医学图像报告生成模型的训练方法及图像报告生成方法

权利要求书

1.一种医学图像报告生成模型的训练方法，其特征在于，所述医学图像报告生成模型包括视觉特征提取网络、编码网络和解码网络，所述方法包括：

获取样本医学图像；

通过所述视觉特征提取网络对所述样本医学图像进行视觉特征提取处理，得到所述样本医学图像的视觉特征序列；

在所述视觉特征序列的基础上，拼接图像类别标签和自学习标签，得到所述编码网络的输入信息；

通过所述编码网络对所述输入信息进行编码处理，得到所述视觉特征序列对应的视觉编码特征向量、所述图像类别标签对应的输出类别结果，以及所述自学习标签对应的输出任务结果；

通过所述解码网络对所述视觉编码特征向量进行解码处理，得到所述样本医学图像对应的输出图像报告；

基于所述输出图像报告、所述输出类别结果和所述输出任务结果，计算所述医学图像报告生成模型的总损失函数值，并根据所述总损失函数值对所述医学图像报告生成模型的参数进行调整。

2.根据权利要求1所述的方法，其特征在于，所述基于所述输出图像报告、所述输出类别结果和所述输出任务结果，计算所述医学图像报告生成模型的总损失函数值，包括：

基于所述输出图像报告和所述样本医学图像对应的目标图像报告，计算第一损失函数值；

基于所述输出类别结果和所述样本医学图像对应的目标类别结果，计算第二损失函数值；

基于所述输出任务结果和所述样本医学图像对应的目标任务结果，计算第三损失函数值；

基于所述第一损失函数值、所述第二损失函数值和所述第三损失函数值，计算所述总损失函数值。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

从所述样本医学图像对应的目标图像报告中，提取指定字段的信息；

对所述指定字段的信息进行语义识别，得到所述样本医学图像对应的目标类别结果。

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

将所述样本医学图像旋转指定角度之后，输入至所述视觉特征提取网络；

其中，所述目标任务结果用于指示所述样本医学图像的真实旋转角度，所述输出任务结果用于指示所述样本医学图像的预测旋转角度。

5.根据权利要求2所述的方法，其特征在于，所述输入信息还包括模型蒸馏标签，所述模型蒸馏标签经所述编码网络得到学生输出诊断结果；

所述方法还包括：

基于所述学生输出诊断结果和所述样本医学图像对应的教师输出诊断结果，计算第四损失函数值；

基于所述第一损失函数值、所述第二损失函数值、所述第三损失函数值和所述第四损失函数值，计算所述总损失函数值。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

将所述样本医学图像输入至预训练完成的教师模型，所述教师模型用于识别所述样本医学图像中的症状类别；

通过所述教师模型得到所述样本医学图像对应的教师输出诊断结果。

7.根据权利要求5所述的方法，其特征在于，所述基于所述第一损失函数值、所述第二损失函数值、所述第三损失函数值和所述第四损失函数值，计算所述总损失函数值，包括：

对所述第一损失函数值、所述第二损失函数值、所述第三损失函数值和所述第四损失函数值进行加权求和，得到所述总损失函数值。

8.根据权利要求1所述的方法，其特征在于，所述通过所述视觉特征提取网络对所述样本医学图像进行视觉特征提取处理，得到所述样本医学图像的视觉特征序列，包括：

通过所述视觉特征提取网络对所述样本医学图像进行视觉特征提取处理，得到所述样本医学图像的视觉特征信息；

将所述视觉特征信息划分为多个视觉特征单元；

获取各个所述视觉特征单元的特征向量，得到所述视觉特征序列。