[发明专利]一种基于内容保持与注意力机制的从超声诊断报告生成超声图像的方法

权利要求书

1.一种基于内容保持与注意力机制的从超声诊断报告生成超声图像的方法，其特征在于，包括以下步骤：

1)通过超声诊断报告构建一个词库，每一个单词对应一个数字，以此将诊断报告构建为由数字表示的一维向量，并作为长短时记忆网络的输入；

2)通过长短时记忆网络提取句子特征和词特征，将长短时记忆网络各阶段的输出进行拼接得到词特征w，长短时记忆网络最后一层的隐藏层作为句子特征s；

3)将句子特征s与词特征w输入到由卷积神经网络构成的生成器G中，通过上采样的方式生成假图像；所述生成器G由三个阶段组成，每个阶段生成的特征图f_i与词特征w构建成注意力特征注意力特征和特征图f_i同时作为下一阶段的输入：

f₀＝H₀(s),

其中H_i代表第i个阶段，f_i代表第i个阶段的特征图，F_i^att代表第i个阶段的注意力模型，H_G代表图像生成层，代表生成图像，x代表模型的阶段数，H₀代表第一阶段，f₀代表第一阶段的特征图；

所述注意力模型的处理过程如下：

词特征w首先由感知层A_i转换到和特征图相同的语义空间中，w′_i＝A_iw，w′_i代表转换后的词特征，计算转换后的词特征w′_i和特征图f_i每个子区域f_i^j,j∈{1,...,50}之间的注意力分数：

其中r_i^j,k＝f_i^jw′_i^k，w′_i^k代表第k个单词，N代表句子长度，由每个单词的注意力分数得到注意力特征表示注意力分数；

4)将生成图像和真实图像I输入到由卷积神经网络构成的判别器D中，通过生成对抗思想得到对抗损失，所述生成对抗思想为生成器生成假图像期望判别器判别生成的图像为真，而判别器判别生成图像为假，以此构建对抗损失：

其中D代表判别器，G代表生成器，I代表真实图像，代表生成图像，代表判别器判别真实图形为真的期望，代表判别器判别真实图形与文本匹配的期望，代表判别器判别生成图像为假的期望，代表判别器判别生成图像与文本不匹配的期望；

5)使用VGG网络提取真实图像和生成图像的深度特征，构建深度特征之间的均方误差，同时求取真实图像与生成图像的像素点之间的均方误差，最后计算生成图像相邻像素点之间的均方误差，通过三项均方误差构建内容保持损失；

6)结合内容保持损失与对抗损失，从全局内容和局部细节来优化生成图像；

7)最后通过计算损失梯度，通过梯度反向传播算法优化生成器与判别器，所述优化生成器与判别器，最终的目标函数为：

其中λ_i,i∈{1,2,3,4}代表各项损失的权重。

2.根据权利要求1所述一种基于内容保持与注意力机制的从超声诊断报告生成超声图像的方法，其特征在于：步骤1)中所述构建词库，通过统计各个单词在超声诊断报告文本数据中出现的次数进行排序，其次序与单词构成一个字典，即次序就代表该单词。

3.根据权利要求1所述一种基于内容保持与注意力机制的从超声诊断报告生成超声图像的方法，其特征在于：步骤2)所述通过长短时记忆网络提取句子特征和词特征：

s,w＝LSTM(S)

其中s代表句子特征，w代表词特征，LSTM代表长短时记忆网络，S代表输入的一维文本向量。