[发明专利]一种基于空间编码的脑CT医学报告生成方法

权利要求书

1.一种基于空间编码的脑CT医学报告生成方法，其特征在于：

步骤(1)、构建数据集并进行预处理，得到序列脑CT图像特征和多尺度超像素特征两种特征；

步骤(2)、通过编码模型MSSE多尺度超像素脑CT空间编码模型对序列脑CT图像特征和多尺度超像素特征进行特征编码，从而得到包含脑CT空间信息的序列图像特征；其中MSSE模型包含指导注意力模型GATT和FFA前馈残差标准化模块两个部分，其中指导注意力模块将包含丰富空间信息的多尺度超像素特征和序列脑CT图像特征两者进行融合，FFA前馈残差标准化模块用于防止网络过拟合，帮助获得更好的脑CT序列图像特征；

步骤(3)、采用解码模型SALD对包含脑CT空间信息的序列图像特征进行解码从而生成脑CT医学报告，SALD解码模型包含空间注意力和LSTM两个部分，空间注意力用于提取重要的序列图像特征，其中关键的序列特征被赋予较高的权重参与特征加和，最终得到整个CT影像的图像特征；LSTM将整个CT影像的图像特征作为输入，最终生成脑CT医学报告。

2.根据权利要求1所述的一种基于空间编码的脑CT医学报告生成方法，其特征在于：

进一步的，步骤(1)包括以下步骤，

步骤(1.1)数据：采集脑CT图像及医学报告构建数据集，每一个患者数据包含其通过序列脑CT图像生成的RGB张量其中表示实数集合，n表示患者序列脑CT图像数量，N表示图像像素尺寸；

步骤(1.2)将所有患者数据划分为训练集、验证集和测试集，其中，训练集用于学习神经网络的参数；验证集用于确定超参数；测试集用于验证神经网络分类效果；

步骤(1.3)数据预处理：包括对医学报告分词，统计词频，剔除词频低于2的单词，将剩余单词按词频从大到小顺序构成词表，统计数据集医学报告的词表大小并记为vs，将医学报告中每一个单词通过one-hot编码表示，最后将医学报告表示为张量其中l表示报告中单词个数；

步骤(1.4)特征提取：使用融合多尺度超像素的脑CT图像分类方法MSF预训练模型，用来提取序列脑CT图像特征及多尺度超像素特征其中M表示输入的脑CT图像序列的个数，S为多尺度超像素的分割尺度数量。