[发明专利]基于时空注意力模型的多相期CT图像分类系统及构建方法

权利要求书

1.一种基于时空注意力模型的多相期CT图像分类系统，其特征在于，包括：

数据获取单元，用于获取待分类患者的s个相期的CT图像；

第一嵌入层网络单元，包括s个第一嵌入层网络，第一嵌入层网络分别用于将每个相期CT图像分割成多个图像块并分别将每个图像块展平为图像块向量，再将所有图像块向量与类别标记向量合并后与同维度位置向量相加获得对应相期的CT图像的嵌入向量；

空间注意力单元，包括s个空间注意力网络，每个空间注意力网络包括L1层第一多头注意力网络MSA、L1层第一多层感知机和一层第一归一化层，其中L1层第一多头注意力网络MSA和L1层第一多层感知机依次交错连接，所述第一多头注意力网络MSA用于生成最终空间注意力函数，将最终空间注意力函数与输入向量相加作为对应下一层第一多层感知机的输入向量；所述第一多层感知机对归一化的输入向量编码后与所述第一多层感知机的输入向量相加作为对应下一层第一多头注意力网络MSA的输入；其中，第一层第一多头注意力网络MSA的输入向量为嵌入向量；第一归一化层用于对最后一层第一多层感知机输出的向量与所述第一多层感知机的输入向量相加后的向量的第一维度向量进行归一化并作为对应相期的CT图像的空间特征；

第二嵌入层网络单元，包括1个第二嵌入层网络，用于将s个空间注意力网络输出的s个对应相期的CT图像的空间特征合并后与类别标记向量结合获得嵌入层向量；

时间注意力单元，包括1个时间注意力网络，时间注意力网络包括L2层第二多头注意力网络MSA、L2层第二多层感知机和一层第二归一化层，其中L2层第二多头注意力网络MSA和L2层第二多层感知机依次交错连接，所述第二多头注意力网络MSA用于生成最终时间注意力函数，将最终时间注意力函数与输入向量相加作为对应下一层第二多层感知机的输入向量；所述第二多层感知机对归一化的输入向量编码后与其输入向量相加作为对应下一层第二多头注意力网络MSA的输入；其中，第一层第二多头注意力网络MSA的输入向量为第二嵌入层网络单元输出的嵌入层向量；第二归一化层用于对最后一层第二多层感知机输出的向量与其输入向量相加后的向量的第一维度向量进行归一化获得具有空间特征和时间特征的向量；

分类层单元，包括分类层W，用于依据具有空间特征和时间特征的向量获得分类结果Prob=W（x_time^T）；其中，Prob 𝜖R^C代表分类的概率分布，C表示类的总数。

2.根据权利要求1所述的系统，其特征在于，s大于等于2，s个相期的CT图像具体包括：平扫期CT图像、动脉期CT图像、门静脉期CT图像和延迟期CT图像中的至少两种。

3.根据权利要求1所述的系统，其特征在于，所述嵌入向量具体为：

X₀ = [X_class; X¹_p; X²_p…X^N_p]+ X_pos

其中，X_class表示类别标记向量，X_pos表示位置向量，X_p表示线性化后的图像块向量，N表示分割后的图像块数量。